Microsoft Research Focus №97: ForkPilot, CABRA, TeleTune и BioEmu2

Microsoft Research выпустила №97 подкаста Research Focus. Sowbhagya Suresh рассказывает о недавних работах исследователей Microsoft: от причин сбоев кодинг-агентов до того, как люди используют ИИ на работе, и улучшения долгосрочных прогнозов погоды.

ForkPilot, самообучающийся фреймворк для ИИ-агентов, которые решают многошаговые задачи с внешними инструментами. Он учится определять, когда стоит вернуться к более раннему решению и попробовать другой подход, и подстраивает стратегию под новые результаты. Фреймворк проверили на шести бенчмарках и на ведущих ИИ-моделях: по качеству он на уровне лучших существующих методов, а вычислительные затраты снижает до 59%. Исходный уровень для этой цифры в источнике не указан. Из результатов, как сказано в выпуске, следует, что агенты могут решать сложные задачи надёжнее и эффективнее.

CABRA, фреймворк, который с нуля генерирует задачи по программированию. Он позволяет контролируемо повышать сложность и выявлять навыки, которые даются агентам тяжелее всего. На тысячах сгенерированных задач исследователи увидели: агенты часто справляются с проблемами за счёт инструментов, но по-прежнему буксуют, когда нужно разобраться в незнакомой кодовой базе. Вывод: понимание существующего кода, а не его изменение, остаётся одним из главных препятствий для более эффективных кодинг-агентов.

TeleTune обучает агентов, управляющих компьютером (кликающих и вводящих текст), на журналах действий пользователей. Проблема в том, что такие журналы обычно не фиксируют намерение за каждым действием и смешивают разные задачи. TeleTune извлекает из них переиспользуемые навыки и сценарии работы, а также определяет цели задач по последовательностям действий. В оценках на задачах в программах и браузере он превзошёл существующие подходы.

Исследователи Microsoft проанализировали агрегированную активность в Copilot Chat по широкому набору категорий клиентов. Среди классифицированных занятий лидирует редактирование документов, более 20 процентов. Но если отложить 20 самых частых занятий, различия между категориями клиентов становятся заметно сильнее: самые популярные применения ИИ могут скрывать важные отличия в более специализированной работе.

Исследование Shiksha Copilot проводилось в школах с ограниченными ресурсами в Индии. Этот ИИ-инструмент с участием человека в контуре сократил время учителей на двуязычное планирование уроков и бюрократию, освободив время на более увлекательные занятия. В исследовании участвовало более тысячи учителей; многие сообщили о снижении стресса и положительном впечатлении от помощи ИИ, а материалы они адаптировали под свои классы.

PBC (Probabilistic Bias Correction), фреймворк машинного обучения для прогнозов погоды на 2-6 недель, которые остаются серьёзной проблемой для моделей, хотя именно тогда принимают решения в сельском хозяйстве, борьбе с пожарами и подготовке к экстремальной погоде. PBC учится на прошлых ошибках погодной модели и помогает их исправлять. Он занял первое место в международном соревновании по улучшению долгосрочных прогнозов и внедряется в Кении, где помогает улучшать прогнозы муссонов для фермеров.

Наконец, BioEmu2, новая базовая модель для понимания структуры, динамики и функций биомолекул, доступна в публичном превью. Её разработала команда Microsoft Research AI for Science; она развивает Biomolecular Emulator, модель глубокого обучения, помогающую понять, как работают белки. Лучшее понимание функций белков, по словам ведущей выпуска, может приблизить создание более эффективных лекарств. Модель можно изучить в репозитории Microsoft Research на GitHub.

Ключевые факты

ForkPilot, проверенный на шести бенчмарках, по качеству на уровне лучших методов и снижает вычислительные затраты агентов до 59% (исходный уровень не указан).
CABRA генерирует задачи по программированию: на тысячах задач агенты справлялись за счёт инструментов, но пасовали перед незнакомой кодовой базой.
Анализ Copilot Chat: редактирование документов лидирует (более 20%), а после отбрасывания 20 самых частых занятий различия между категориями клиентов заметно растут.
Shiksha Copilot в школах Индии сократил время учителей на двуязычное планирование уроков и бюрократию; участвовало более тысячи учителей.
BioEmu2, новая базовая модель для биомолекул от команды Microsoft Research AI for Science, доступна в публичном превью.

Почему это важно

Выпуск собирает в одном месте несколько направлений, на которые приходится практический интерес к ИИ: цена и надёжность агентов, причины сбоев кодинг-агентов, реальное использование Copilot на работе. По CABRA главным препятствием названо понимание чужого кода, а не его правка. По ForkPilot заявлено снижение затрат до 59% при качестве на уровне лучших методов. Отдельно выделяются прикладные результаты вне кодинга: прогнозы погоды на недели вперёд и модель для белков.

Кому это важно

Разработчикам и исследователям ИИ-агентов, материалы про ForkPilot, CABRA и TeleTune. Руководителям бизнеса, вывод из анализа Copilot Chat: не стоит считать, что ваши потребности в ИИ такие же, как у других в отрасли. Тем, кто работает в образовании, метеорологии и сельском хозяйстве, истории про Shiksha Copilot и PBC. Учёным в области биологии и медицины, BioEmu2.

Как это применить

Выпуск, обзор, а не руководство, но из него следуют конкретные шаги. Для бизнеса: не ограничиваться общей статистикой использования ИИ, а выяснять, что сотрудники реально делают, как работают и какие результаты важнее всего. Для разработчиков агентов: учитывать, что слабое место, понимание незнакомых кодовых баз. Модель BioEmu2 можно изучить в публичном превью в репозитории Microsoft Research на GitHub. Условия лицензии и дата релиза в выпуске не названы.

Можно ли доверять

Это подкаст-дайджест самой Microsoft Research о собственных работах, поэтому оценки в нём, самооценки. Для большинства результатов нет количественных данных: у TeleTune, CABRA и PBC цифр нет, у ForkPilot есть только верхняя граница «до 59%» без указания исходного уровня. Не названо соревнование по прогнозам погоды, где PBC занял первое место, и не сказано, что результаты прошли независимое рецензирование. Полные данные нужно смотреть в статьях, ссылки на которые приведены на странице выпуска.

Риски и подводные камни

Часть выводов подана с оговорками: результаты ForkPilot лишь «предполагают» более надёжную работу агентов, Shiksha Copilot «мог бы» изменить рабочие процессы учителей, а понимание белков «могло бы» приблизить создание лекарств. Цифра 59%, максимум, а не типичный результат. Данные по Copilot Chat агрегированы, категории клиентов не названы, поэтому переносить вывод на конкретную компанию нужно осторожно. По PBC источник называет первые результаты многообещающими, но размер улучшения прогнозов в Кении не приводит.

«Руководителям бизнеса вывод ясен: не считайте, что ваши потребности в ИИ такие же, как у остальных в вашей отрасли.»

— Microsoft Research Focus, выпуск №97