Microsoft Research лишилась группы AI Frontiers после слияния с Microsoft AI

В личном блоге один из основателей и руководителей AI Frontiers (AIF), подразделения внутри Microsoft Research (MSR), описал конец группы. Имя автора в тексте поста не указано. AIF появилась в 2023 году, после выхода ChatGPT: автор пишет, что исследования должны быть организованы лучше, чем это было принято в MSR. Идея одного человека, по его словам, оказывалась слабой и запоздавшей: один исследователь не успевает двигаться достаточно быстро и не может собрать сильные базовые модели для сравнения. Несколько коллег думали так же, и они создали AIF.

Группа была небольшой, около 50 человек. Значительная часть её работы, выяснить, как заставить агентов работать: например, фреймворк оркестрации Autogen и агент Fara для управления компьютером. Отдельно исследователи в Нью-Йорке занимались новыми фундаментальными возможностями: целевой функцией Next Latent (по словам автора, она позволяет экстраполяцию), Dion3 (оптимизированный, улучшенный вариант Muon) и Full Bandwidth Transformer (по описанию автора, эффективно делает модели заметно мощнее за счёт рекурсии). AIF также завела монорепозиторий, по умолчанию открытый для всего MSR; в нём лежала кодовая база предобучения моделей «краевого масштаба» (edge scale), о которой автор говорил на keynote конференции COLM в прошлом месяце. Автор знает минимум о четырёх попытках внутри MSR строить конвейеры создания моделей (три остальные, не в репозиториях, открытых внутри MSR).

В начале сентября AIF влили в Microsoft AI (MAI). Автор признаёт, что на бумаге это могло иметь смысл: две ИИ-организации объединяют усилия, где-то AIF опережала MAI, где-то наоборот (MAI гораздо крупнее). Но на практике, пишет он, философия бывшего руководства Inflection, которое возглавляет MAI, несовместима с их подходом: «масштабирование, и подчёркнуто не исследования». В среде, где главное, только масштабирование, основные усилия уходят на добычу, создание и очистку данных, а это далеко от того, чем занималась AIF. Кроме того, по словам автора, было много признаков, что в MAI их просто не хотели.

Автор считает ставку только на масштабирование ошибочной и неинтересной, хотя называет её понятной ловушкой: масштабирование проще, и люди часто отказываются от баланса между инновациями и размером, выбирая что-то одно. Отдача от исследований, по его мнению, реальна и значительна. В пример он приводит эксперименты Bytedance: они, по его словам, указывают, что вариант Full Bandwidth Transformer может быть сопоставим с моделью вдвое большего размера, то есть сулит заметную экономию обучения и вывода. Автор предлагает прикинуть, сколько стоит вдвое сократить эти расходы при инвестициях отрасли, приближающихся к триллиону долларов.

Автор расставил своих людей по местам, как смог, и ушёл. Все остальные основатели руководящей команды AIF, по его словам, «похоже», пришли к тому же выводу. Вернуться в MSR он не захотел по двум причинам. Первая: ему неуютно в компании, где его исследования не имеют пути к реальному применению; в MAI он не смог добиться, чтобы инновации хотя бы всерьёз рассматривали, поэтому в MSR шансы, считает он, малы. Вторая: он опасается, что в MSR нарушена базовая договорённость «делай хорошую работу, и будет хорошо». По его оценке, они работали хорошо, но их реорганизовали без их согласия. Он не удивится, если подобное будет повторяться, пока руководство MSR не найдёт волю эффективно организоваться «под момент». Итог: «AI Frontiers закончилась». Стажировок с её сотрудниками в следующем году не будет. Куда автор пошёл дальше, в посте не сказано.

Ключевые факты

  • AI Frontiers, подразделение Microsoft Research (около 50 человек), созданное в 2023 году после выхода ChatGPT, в начале сентября влито в Microsoft AI.
  • Работа группы: агентные проекты Autogen и Fara, а также исследования в Нью-Йорке, Next Latent, Dion3 (улучшенный Muon) и Full Bandwidth Transformer.
  • Автор поста утверждает, что философия руководства Microsoft AI, «масштабирование, и подчёркнуто не исследования», и она несовместима с подходом AIF.
  • Автор ушёл; остальные основатели руководящей команды AIF, по его словам, «похоже», пришли к тому же выводу.
  • Возвращаться в MSR автор не стал: считает, что исследования там не имеют пути к реальному применению, и опасается нарушения базовой договорённости «делай хорошую работу, и будет хорошо».

Почему это важно

Это редкий рассказ изнутри о том, как крупная корпорация перестраивает ИИ-исследования после бума ChatGPT. Автор описывает спор двух подходов: исследования ради новых возможностей против ставки на масштабирование данных и размера моделей. По его словам, из-за слияния с Microsoft AI исследовательская группа перестала существовать. Важно, что это личный взгляд одного участника, но он показывает напряжение между исследовательскими и продуктовыми командами в крупных ИИ-компаниях.

Кому это важно

Исследователям и инженерам, которые следят за кадровыми и организационными переменами в крупных ИИ-лабораториях. Интересно и тем, кто использует проекты Autogen и Fara: в посте не сказано, что с ними будет после реорганизации. Также пост касается студентов и аспирантов, рассчитывавших на стажировки в AIF: автор пишет, что в следующем году стажировок с её сотрудниками не будет.

Как это применить

Практического инструмента здесь нет. Пост можно использовать как повод проверить зависимость от проектов, выросших в AIF (Autogen, Fara), и следить за их дальнейшей судьбой: в посте об их будущем ничего не сказано. Идея про Full Bandwidth Transformer сформулирована автором осторожно («может быть сопоставим с моделью вдвое большего размера») и подкреплена лишь отсылкой к экспериментам Bytedance без деталей.

Можно ли доверять

Это первое лицо, личный блог одного из основателей и руководителей группы, имя автора в тексте не указано. Текст выражает его оценки: несовместимость философий, то, что MAI «не хотел» их, ошибочность ставки на масштабирование. Заявлений Microsoft, руководства MSR или Microsoft AI в тексте нет, так что другая сторона не представлена. Утверждение об уходе других основателей автор сам смягчает словом «похоже». Данных по экспериментам Bytedance в посте нет.

Риски и подводные камни

Не стоит читать пост как официальное решение Microsoft о судьбе исследований: это односторонний рассказ ушедшего сотрудника. В нём не названы число уволенных или переведённых сотрудников, судьба отдельных проектов и новое место работы автора. Оценку «исследования окупаются лучше масштабирования» автор подкрепляет единственным осторожно сформулированным примером, поэтому её нельзя считать доказанной. Год реорганизации («начало сентября») в тексте прямо не указан.

«Основная философия там, масштабирование, и подчёркнуто не исследования.»

— Автор поста об AI Frontiers, о философии руководства Microsoft AI