Trillium Labs: Нейтан Ламберт и Том Зик открыли лабораторию ИИ с публикацией экспериментов

Нейтан Ламберт (Nathan Lambert) и Том Зик (Tom Zick), два учёных из индустрии, основали некоммерческую организацию Trillium Labs. Она будет заниматься разными направлениями исследований ИИ, в том числе потенциально проблемными, такими как рекурсивное самоулучшение (RSI) и агенты, и делать это более прозрачно, чем принято у ведущих лабораторий. На практике это значит публикацию деталей экспериментов, чтобы сторонние учёные могли их изучать и воспроизводить. Лаборатория запустилась в день выхода материала WIRED.

Исходная позиция противоположна подходу части крупных ИИ-компаний, которые считают, что удерживать модели внутри лабораторий и давать доступ немногим, лучший способ не дать им стать слишком хаотичными. Ламберт говорит, что секретность ведущих лабораторий снижает способность сообщества проверять идеи и предлагать новые подходы. По его мнению, возможность для внешних экспертов увидеть, как модели строят и настраивают, может быть решающей для снижения рисков. Самые мощные модели, например от OpenAI и Anthropic, доступны только через приложение или API, и часто ценой прозрачности. Другие компании, особенно китайские, предлагают относительно мощные модели, которые можно скачать и запустить на своём оборудовании: Xiaomi недавно опубликовала подробности крупного обучения одной из своих моделей в реальном времени, а исследователи Стэнфорда предобучают модель Marin в открытом режиме.

Спор о стратегии идёт во многом потому, что передовые модели сегодня очень мощны: они умеют автоматизировать поиск новых уязвимостей в ПО и автоматически зондировать и взламывать системы, а недавние громкие волны взломов усилили внимание к теме. Сторонники ограниченного доступа говорят, что эту силу важно оставить в руках доверенного меньшинства, а лагерь Ламберта и Зик считает, что общее понимание рисков выгодно всем.

Ламберт раньше работал в Ai2 (лаборатории с необычно открытым подходом, публикующей данные и методы обучения вместе с моделями) и в Hugging Face, ведёт популярный технический блог и основал инициативу American Truly Open Models, которая призывает американские компании выпускать больше открытых моделей. Зик работала в Гарвардском университете и помогала Charles Schwab вырабатывать политики вокруг «ответственного ИИ». Они познакомились по Zoom во время пандемии COVID-19, будучи аспирантами Калифорнийского университета в Беркли, и придумали организацию, увидев, насколько исследования ИИ в индустрии оторвались от академических. По словам Ламберта, профессора и студенты часто не могут повторить работу внутри лабораторий больших компаний из-за нехватки ресурсов.

По словам Зик, сначала Trillium Labs сосредоточится на пост-обучении (дообучении больших моделей после их создания). Второе ключевое направление, RSI, процесс создания новых моделей, где ИИ вносит вклад в исследования. Перспектива, что прогресс может продолжаться бесконечно и привести к потере человеческого контроля, тревожит многих исследователей; ранее в этом месяце тема получила широкое внимание, когда исследователь покинул Anthropic и предупредил, что RSI может представлять экзистенциальную угрозу человечеству. Организация также изучит, как обучение с подкреплением (модель вознаграждают за хороший результат и наказывают за плохой) улучшает возможности моделей и как оно формирует их характер и поведение. Этот подход сделал агентов гораздо способнее, но и более склонными к неожиданным действиям; метод может создавать проблемы, например когда модель становится чрезмерно угодливой. Зик говорит, что для понимания масштабирования обучения с подкреплением в пост-обучении нужны значительные вычислительные мощности и тщательные эксперименты, а публикация деталей таких запусков может дать неожиданные выводы, когда сторонние исследователи изучат работу.

Лаборатория привлекла нераскрытую сумму от Schmidt Sciences, Halcyon Futures и других. Основатели хотят в сумме собрать от 40 до 100 млн долларов и планируют потратить 30 млн долларов на обучение моделей в ближайшие 18 месяцев. Тим Фист (Tim Fist), директор по политике в области новых технологий в аналитическом центре Institute for Progress, заявил WIRED, что он решительный сторонник гораздо большей прозрачности в исследованиях и разработках, чем сейчас. Основатели надеются внести в дискуссию о создании ИИ больше нюансов.

Ключевые факты

• Нейтан Ламберт и Том Зик основали некоммерческую Trillium Labs: она будет публиковать детали экспериментов, чтобы сторонние учёные могли их изучать и воспроизводить.
• Сначала лаборатория сосредоточится на пост-обучении; среди ключевых направлений, рекурсивное самоулучшение (RSI) и влияние обучения с подкреплением на поведение моделей и агентов.
• Привлечена нераскрытая сумма от Schmidt Sciences, Halcyon Futures и других; цель, собрать в сумме от 40 до 100 млн долларов, из них 30 млн долларов планируется потратить на обучение в ближайшие 18 месяцев.
• Основатели противопоставляют себя закрытому подходу: по словам Ламберта, закрытость ведущих лабораторий мешает сообществу проверять идеи и снижать риски.

Почему это важно

Индустрия, по описанию WIRED, спорит о том, что безопаснее: держать мощные модели внутри лабораторий для немногих или открывать работу и общее понимание рисков. Trillium Labs берётся вести открытые исследования именно в тех областях, которые считаются чувствительными, включая рекурсивное самоулучшение и агентов. Тема RSI недавно получила широкое внимание после ухода исследователя из Anthropic с предупреждением об экзистенциальной угрозе.

Кому это важно

Исследователям и студентам, которым не хватает ресурсов, чтобы повторять работу закрытых лабораторий; специалистам по безопасности и тем, кто следит за политикой в области ИИ; сторонникам открытых моделей. Позицию в пользу большей прозрачности озвучил и Тим Фист из Institute for Progress.

Как это применить

Сейчас применять нечего: в источнике не названы конкретные модели, эксперименты, график публикаций или первые результаты Trillium Labs. Стоит следить за тем, что лаборатория реально опубликует, и за тем, насколько эти материалы позволят независимо воспроизвести результаты.

Можно ли доверять

Материал основан на словах самих основателей, Ламберта и Зик, и одного внешнего комментатора, Тима Фиста, который поддерживает прозрачность. Реакции OpenAI, Anthropic и других закрытых лабораторий в тексте нет. Сумма привлечённого финансирования не раскрыта; названные 40, 100 млн долларов, цель, а не собранная сумма, а 30 млн долларов на обучение, план.

Риски и подводные камни

Сторонники ограниченного доступа, как описывает WIRED, считают важным держать мощные возможности у доверенного меньшинства. Модели, по тому же описанию, могут автоматизировать поиск уязвимостей и взлом систем, а обучение с подкреплением делает агентов способнее, но и склоннее к неожиданным действиям. Открытая публикация деталей экспериментов в таких областях остаётся предметом спора. Кроме того, у лаборатории пока нет названных результатов, а масштаб заявленных бюджетов остаётся целью.

«Нынешняя закрытая траектория разработки передового ИИ отбрасывает нас на шаг назад.»

— Нейтан Ламберт, WIRED