Microsoft Research Focus #98: решена гипотеза KLS, агенты для кода дешевле

Microsoft Research выпустила 98-й выпуск подкаста Research Focus. Это короткий обзор свежих исследований по Microsoft, который ведёт Anson Ho и который построен на рассылке Research Focus. В выпуске пять сюжетов.
Первый: стажёр лаборатории Microsoft Research в Токио Lilika Makabe пришла с опытом в компьютерном зрении и работала рядом с исследователями робототехники и «физического интеллекта» (ИИ-систем, которые интерпретируют информацию и действуют в физическом мире). Через практические эксперименты и общение с коллегами из разных областей она расширила исследовательский кругозор и помогла формировать растущее сообщество лаборатории. Подробности, в блоге Microsoft Research.
Второй: ИИ-перевод речи. Ведущий напоминает, что в 1967 году в «Звёздном пути» появился вымышленный универсальный переводчик, и говорит, что достижения ИИ приближают такую возможность к реальности. Менеджер по прикладным исследованиям Microsoft (Applied Science Manager) Jinyu Li обсуждает прогресс и оставшиеся трудности в беседе для подкаста Our Digital Life. Подробности самой беседы в выпуске не раскрываются.
Третий: гипотеза KLS. 31 год она оставалась одной из центральных открытых проблем многомерной геометрии. Новая работа её разрешила, что, по словам ведущего, снимает крупное теоретическое препятствие для понимания эффективности рандомизированных алгоритмов, которые применяют в науке и вычислениях. Результат устанавливает универсальный принцип для логарифмически вогнутых распределений: простые плоские сечения позволяют найти их самые узкие «горлышки» с точностью до фиксированного множителя независимо от размерности. Результаты независимо проверены, а доказательство дополнительно формально верифицировано компьютерными методами.
Четвёртый: эффективность ИИ-агентов для программирования. В длинных сессиях объём информации, который модель способна обработать за раз, исчерпывается, и агент пересказывает (сжимает) прежние шаги. Этот ресурсоёмкий процесс называется сжатием контекста (context compaction). Новое исследование проанализировало 13,5 млн сессий программирования: сжатие контекста потребовалось менее чем в 8% из них, но именно эти сессии дали 44% всех затрат на обработку ИИ. Чтобы работать с этой проблемой, исследователи создали бенчмарк COMPACTIONBENCH для оценки сжатия контекста в долгих задачах по программированию, а также метод APEC, который готовит краткие пересказы в фоне, не прерывая работу агента. В оценках APEC улучшил качество работы с кодом, снизив затраты на величину до 25,4% и время выполнения на 9,6%.
Пятый: токенизация. Перед обработкой текста модели разбивают его на токены, и от способа разбиения зависят эффективность и качество, особенно для разных языков. Большинство токенизаторов стремятся сжать текст как можно сильнее, но новое исследование показывает, что одного сжатия недостаточно. Исследователи представили Latent Core Tokenizer (LCT): он выделяет повторно используемые компоненты слов, прежде чем строить общий словарь для разных языков. В оценке на 104 языках LCT дал более осмысленные с точки зрения лингвистики токены, чем ведущие альтернативы, при сопоставимой эффективности, и улучшил качество моделей на четырёх многоязычных бенчмарках. Вывод: хорошая токенизация зависит не только от степени сжатия, но и от того, насколько сохранена структура языка.
Ключевые факты
- Гипотеза KLS, 31 год остававшаяся открытой проблемой многомерной геометрии, разрешена: простые плоские сечения находят самые узкие «горлышки» логарифмически вогнутых распределений с точностью до фиксированного множителя при любой размерности; результат независимо проверен, доказательство формально верифицировано.
- Анализ 13,5 млн сессий ИИ-агентов для кода: менее 8% потребовали сжатия контекста, но дали 44% всех затрат на обработку.
- Метод APEC готовит пересказы в фоне и в оценках снизил затраты до 25,4% и время выполнения на 9,6%; для оценки создан бенчмарк COMPACTIONBENCH.
- Токенизатор Latent Core Tokenizer (LCT) на 104 языках дал более осмысленные токены, чем ведущие альтернативы, при сопоставимой эффективности и улучшил результаты на четырёх многоязычных бенчмарках.
Почему это важно
Выпуск собирает в одном месте сразу несколько сигналов о том, куда движутся исследования Microsoft. Главный, разрешение гипотезы KLS: по словам ведущего, оно снимает крупное теоретическое препятствие для понимания эффективности рандомизированных алгоритмов, применяемых в науке и вычислениях. Практический сюжет, цифры по ИИ-агентам для кода: менее 8% сессий дают 44% затрат, и именно сжатие контекста названо точкой для оптимизации. Третье, тезис о токенизации: одной степени сжатия мало, важна сохранность структуры языка.
Кому это важно
Математикам и специалистам по теории алгоритмов, из-за гипотезы KLS. Командам, которые строят или используют ИИ-агентов для программирования и платят за их долгие сессии, из-за данных о сжатии контекста, бенчмарка COMPACTIONBENCH и метода APEC. Тем, кто обучает и оценивает многоязычные модели, из-за идеи токенизатора LCT. Остальным выпуск полезен как быстрый обзор тем, над которыми работают исследователи Microsoft.
Как это применить
Выпуск, обзор в формате подкаста, и готовых инструментов или инструкций в нём нет. Практическая нить одна: при оценке расходов на агентов для кода стоит смотреть не на среднюю сессию, а на редкие длинные сессии, где происходит сжатие контекста, ведь в приведённом исследовании они дали 44% затрат. За деталями по каждой теме ведущий отсылает к материалам в блоге Microsoft Research и к списку связанных ссылок: статья о решении гипотезы KLS, CompactionBench и Latent Core Tokenizer.
Можно ли доверять
Источник, официальный подкаст самой Microsoft Research, то есть материал первой стороны, который показывает собственные работы компании в выгодном свете. Выпуск, краткий пересказ, и многих деталей в нём нет: не названы авторы и организации работ по KLS, COMPACTIONBENCH/APEC и LCT, не сказано, кто решил гипотезу KLS и кто независимо проверил результат. Не указано, относительно чего измерены снижение затрат на 25,4% и ускорение на 9,6% и является ли 9,6% тоже верхней границей. Не названы токенизаторы, с которыми сравнивали LCT, сами четыре бенчмарка, а также агентов и модели, из которых взяты 13,5 млн сессий; конкретных цифр улучшения для LCT нет. Для проверки нужны первоисточники.
Риски и подводные камни
Цифры по APEC даны как «до 25,4%» для затрат, а для времени выполнения (9,6%) не уточнено, максимум это или типичное значение, поэтому переносить их на свои задачи нельзя. Заявление о LCT («более осмысленные токены», «сопоставимая эффективность») дано без количественных показателей. Фраза о приближении универсального переводчика к реальности, оценка ведущего, а не утверждение, что такой переводчик уже существует. Формат подкаста сжимает каждую тему до минуты-двух, так что для выводов нужны исходные публикации.