Передовые ИИ-исследования ушли из университетов в OpenAI и Anthropic, профессора ищут свою нишу
Автор еженедельной рассылки The Algorithm (MIT Technology Review) съездил на конференцию программы Schmidt Sciences AI2050 в отель в Маунтин-Вью, 30 миль южнее Сан-Франциско. Программа, которую финансируют Эрик и Венди Шмидт, поддерживает учёных, чья работа связана с ИИ; на встречу собрались ведущие исследователи отрасли. Автор вёл там интервью за круглым столом и выступал на тренинге по работе с медиа, а заодно раскрывает: в 2024 году он сам получил премию за научную коммуникацию, профинансированную Schmidt Sciences.
Главная тема разговоров, то, что за последние четыре года фронтир ИИ-исследований сместился из университетов в частные компании. Вузы не могут позволить себе GPU для обучения и запуска передовых моделей, а даже если бы могли, Anthropic и OpenAI не раскрывают устройство Claude и ChatGPT. Профессор компьютерных наук Калифорнийского университета в Беркли Ника Хагталаб сравнила положение ИИ-академика с положением биолога в мире, где технологию редактирования генов CRISPR монопольно контролируют частные компании: сторонние эксперты могут изучать поведение ChatGPT и Claude, но не могут детально исследовать их устройство и обучение и тем более влиять на них.
AI2050 частично закрывает разрыв, участники называют грант на покупку GPU реальным подспорьем, но денег всё равно не хватает, особенно на фоне сокращения федерального научного финансирования в США. Даже исследователям, которые не обучают модели сами, а изучают чужие, дорого обходятся многократные запросы к API OpenAI, Anthropic и Google, необходимые для строгого анализа.
Часть учёных сознательно выбирает темы, которые едва ли решит технологическая компания. Профессор Университета Джонса Хопкинса Анджали Филд говорит: «Я стараюсь не работать над проблемами, которые, как мне кажется, решит технологическая компания», потому что коммерческим лабораториям невыгодно инвестировать в вопросы без перспективы прибыли, особенно если ответ на них выставит компанию в невыгодном свете. Сама Филд обнаружила в своём исследовании, что языковые модели дают менее содержательные ответы на формулировки, типичные для женской речи, чем для мужской, трудно представить такое исследование от Anthropic или OpenAI.
Отдельная группа академиков вообще не работает с большими языковыми моделями: они строят специализированные ИИ-модели для анализа данных, прогнозов и симуляции физических систем. Прямой конкуренции с фронтир-лабораториями у них нет, команда AlphaFold в Google DeepMind, построившая удостоенную Нобелевской премии модель предсказания структуры белков, была расформирована в прошлом месяце. Но у этих учёных своя проблема: массовое заблуждение, что «ИИ», это исключительно «прожорливые до энергии» языковые модели, мешает им отстаивать свою работу, например, тем, кто строит специализированные модели для борьбы с изменением климата.
Ландшафт академии меняется: несколько заметных учёных уже взяли отпуск в университетах ради работы в передовых лабораториях, а многие участники AI2050 совмещают академическую должность с индустриальной. За последние полгода добавилась новая тревога: модели OpenAI решили ряд реальных исследовательских задач в математике, и часть экспертов опасается, что у человека может не остаться будущего в чистой математике; один из собеседников автора рассказал о переживаниях за ментальное здоровье коллег-математиков.
Но не всё мрачно. Автор отмечает, что эмпирическую науку, возможно, куда труднее автоматизировать, чем математику, сбор данных сам по себе медленный процесс. Учёный из Университета Карнеги, Меллона Тим Деттмерс, который работает над ускорением и удешевлением ИИ-моделей, считает, что ИИ-учёные не заменят людей, а наоборот, сделают человеческих исследователей куда эффективнее, дав им время на смелые идеи, до которых иначе руки бы не дошли. Автор отмечает: ровно те ресурсные ограничения, что не позволяют академикам обучать модели-фронтир, подталкивают их искать способы делать модели меньше и эффективнее или пробовать принципиально новые архитектуры, и не исключает, что следующий крупный прорыв в ИИ придёт не от большой компании, а из небольшой университетской лаборатории.
Ключевые факты
- Обозреватель MIT Technology Review съездил на конференцию программы Schmidt Sciences AI2050 в Маунтин-Вью (30 миль южнее Сан-Франциско) и поговорил там с ведущими университетскими ИИ-исследователями.
- За последние четыре года фронтир ИИ-исследований сместился из университетов в частные компании: вузам не по карману GPU для обучения передовых моделей, а Anthropic и OpenAI не раскрывают устройство Claude и ChatGPT.
- Профессор Калифорнийского университета в Беркли Ника Хагталаб сравнила положение ИИ-академика с биологом в мире, где CRISPR монопольно контролируют частные компании: поведение моделей изучать можно, устройство и обучение, нет.
- Профессор Университета Джонса Хопкинса Анджали Филд сознательно выбирает темы, невыгодные бизнесу: её исследование показало, что языковые модели дают менее содержательные ответы на формулировки, типичные для женской речи, чем для мужской.
- За последние полгода добавилась новая тревога: модели OpenAI решили ряд реальных задач в математике, и часть экспертов опасается за будущее человека в этой дисциплине; один из собеседников автора рассказал о переживаниях за ментальное здоровье коллег-математиков.
Почему это важно
За последние четыре года фронтир ИИ-исследований переместился из университетов в частные лаборатории: вузы не могут позволить себе GPU для обучения топовых моделей, а даже имея деньги, не получили бы доступа к внутреннему устройству Claude и ChatGPT, которое Anthropic и OpenAI не раскрывают. Это меняет саму природу академической ИИ-науки: профессора теряют возможность исследовать и тем более направлять развитие моделей, которые определяют индустрию, и могут изучать их только снаружи, по поведению.
Кому это важно
Университетским ИИ-исследователям и руководителям факультетов, которые формируют повестку в условиях сокращения федерального научного финансирования в США; программам вроде Schmidt Sciences AI2050, которые пытаются компенсировать разрыв грантами на GPU; специалистам по предвзятости и безопасности моделей, независимые лаборатории берутся именно за те вопросы, которые невыгодны компаниям-разработчикам; и учёным, которые строят специализированные не-LLM модели для климата, биологии и физики и вынуждены отстаивать свою работу на фоне представления, что «ИИ», это только языковые модели.
Как это применить
AI2050 показывает рабочую модель поддержки, грант на закупку GPU, который участники называют реальным подспорьем, хотя стоимость многократных запросов к API OpenAI, Anthropic и Google для строгого изучения моделей всё равно может оказаться неподъёмной. Стратегия, которую применяет часть исследователей (на примере Анджали Филд), сознательно выбирать вопросы, которые коммерческая лаборатория не станет решать, потому что ответ может быть невыгоден бизнесу или не сулит прибыли; это ниша, где университетская наука сохраняет преимущество перед индустрией.
Можно ли доверять
Материал, авторская колонка обозревателя MIT Technology Review из еженедельной рассылки The Algorithm, основанная на личных интервью на закрытой конференции AI2050; автор сам раскрывает конфликт интересов, в 2024 году получил премию за научную коммуникацию, профинансированную Schmidt Sciences, организатором той самой программы. Часть утверждений, атрибутированные цитаты и парафразы конкретных учёных (Хагталаб, Филд, Деттмерс) с именами, часть, обобщения без имён («некоторые эксперты», «один из собеседников»), что типично для жанра репортажа с закрытого мероприятия и ограничивает независимую проверку.
Риски и подводные камни
Концентрация передовых ИИ-исследований в нескольких компаниях снижает возможность независимой проверки моделей, почти невозможно исследовать дизайн и обучение Claude или ChatGPT со стороны; вопросы, невыгодные бизнесу (например, гендерная предвзятость ответов), рискуют остаться без изучения, если их не возьмут на себя университеты. Параллельно идёт отток кадров: несколько заметных учёных уже взяли отпуск в вузах ради работы в передовых лабораториях, а часть исследователей совмещает академическую и индустриальную должности. Появление моделей, решающих реальные задачи чистой математики, вызывает тревогу за будущее этой дисциплины и упомянутое автором беспокойство за ментальное здоровье математиков. Наконец, сокращение федерального научного финансирования в США сужает и без того ограниченные ресурсы вузов на фоне растущей стоимости GPU и доступа к API моделей.
«Я стараюсь не работать над проблемами, которые, как мне кажется, решит технологическая компания»
— Анджали Филд, профессор Университета Джонса Хопкинса