Бывший исследователь Коксон: Anthropic может переобучить Mythos на малой доле вычислений

Бывший исследователь Коксон: Anthropic может переобучить Mythos на малой доле вычислений

Джейкоб Коксон, бывший исследователь OpenAI и Anthropic, которого издание называет человеком, вынесшим страхи перед ИИ в публичное поле, рассказал, почему ушёл из Anthropic. По его словам, одной из главных причин стал слайд, который компания опубликовала для IPO-роудшоу (презентации для инвесторов перед размещением акций). Коксон покинул компанию, проработав там всего около четырёх месяцев.

На слайде показано, сколько вычислительных ресурсов Anthropic требуется для обучения своих моделей с течением времени. Ось на графике сжата, поэтому рост вычислений в 10 раз и в 100 раз выглядит почти одинаково. Тем не менее кривая всё равно круто идёт вверх. По мнению Коксона, это означает, что эффективность алгоритмов растёт не просто быстро, а с ускорением. «Это безумный график, и я удивлён, что они выложили его публично», пишет он.

Коксон утверждает, что модель Mythos, давшая весной крупный скачок возможностей, была частью этого ускоряющегося тренда. Он пишет: «Mythos не был разовым отклонением, а был точкой на суперэкспоненте. Они уже могли бы переобучить Mythos, потратив лишь долю изначально необходимых вычислений». Конкретных цифр, сколько вычислений нужно сейчас и во сколько раз меньше потребуется для переобучения, в материале нет, только формулировка «доля».

Коксон считает, что улучшения алгоритмов находятся «на грани автоматизации». Поэтому он хочет, чтобы в следующем году разработку передовых моделей приостановили, а конкуренты смогли догнать лидеров. Пауза, по его словам, «превратит интеллект человеческого уровня в обычный товар. Навредит она только OpenAI и Anthropic».

Коксон раньше обучал модели в OpenAI, а последним местом работы была Anthropic. Широкое внимание он привлёк в сентябре публичными предупреждениями о рисках продвинутых ИИ-систем; с ним соглашались и другие участники индустрии. Одно из опасений, что продвинутый ИИ, способный к самоулучшению, может выйти из-под контроля.

Ключевые факты

  • Джейкоб Коксон, ранее работавший в OpenAI и Anthropic, говорит, что слайд с IPO-роудшоу Anthropic стал одной из главных причин его ухода после примерно четырёх месяцев работы.
  • На слайде показаны вычисления, нужные Anthropic для обучения моделей; ось сжата, так что рост в 10 и в 100 раз выглядит почти одинаково, но кривая всё равно круто растёт.
  • По мнению Коксона, это признак ускоряющегося роста эффективности алгоритмов; Mythos он называет точкой на «суперэкспоненте», а не разовым отклонением.
  • Он утверждает, что Mythos можно уже переобучить, потратив лишь «долю» исходных вычислений; конкретных цифр нет.
  • Коксон хочет паузы в разработке передовых моделей в следующем году, чтобы конкуренты могли догнать лидеров.

Почему это важно

Вопрос о том, как быстро дешевеет обучение сильных моделей, напрямую влияет на оценку темпов развития ИИ и на споры о том, нужна ли пауза. Коксон читает публичный график Anthropic как свидетельство того, что алгоритмическая эффективность растёт с ускорением, а Mythos, давший весной крупный скачок возможностей, как точку на этой кривой. Если он прав, то обучение моделей такого уровня будет быстро дешеветь. Это, однако, его собственный вывод из одного слайда, а не подтверждённый факт.

Кому это важно

Тем, кто следит за темпами развития передовых ИИ-лабораторий и за дискуссией о безопасности и возможной паузе в разработке. Также тем, кто оценивает Anthropic и OpenAI как компании: Коксон прямо говорит, что пауза навредила бы именно им, а конкурентам дала бы шанс догнать.

Как это применить

Практического применения у материала нет: это мнение одного человека о графике, а не инструмент или релиз. Разумно использовать его как повод внимательнее посмотреть на сам слайд Anthropic, обращая внимание на сжатую ось, из-за которой рост в 10 и в 100 раз выглядит почти одинаково.

Можно ли доверять

Все ключевые утверждения принадлежат лично Коксону и подаются как его аргументы («утверждает», «пишет»). В материале нет цифр о том, сколько вычислений нужно Anthropic и насколько меньше потребовалось бы для переобучения Mythos, нет подтверждения самого утверждения о переобучении, нет ответа Anthropic или OpenAI на предложение о паузе. Источник также не называет дат IPO и роудшоу и не уточняет, когда ушёл Коксон. Читать как мнение бывшего сотрудника, а не как проверенный факт.

Риски и подводные камни

Вывод об ускорении строится на интерпретации одного графика со сжатой осью, где разные приросты выглядят схоже, это легко прочитать по-разному. Фраза «доля вычислений» не количественная. К тому же Коксон известен публичными предупреждениями о рисках ИИ и сам выступает за паузу, так что его оценки, позиция заинтересованной стороны в споре; это стоит учитывать при чтении.

«Mythos не был разовым отклонением, а был точкой на суперэкспоненте. Они уже могли бы переобучить Mythos, потратив лишь долю изначально необходимых вычислений.»

— Джейкоб Коксон