Anthropic в заявке S-1A предупредила о близости к самоулучшающемуся ИИ (RSI)

TechCrunch обратил внимание на то, что в обновлённой заявке S-1A, поданной в понедельник, Anthropic помимо финансовых данных (выручка растёт стремительно, но расходы тоже) добавила в раздел факторов риска важные оговорки. По прочтению издания, документ предупреждает: компания может быть на пороге создания модели, способной к рекурсивному самоулучшению (RSI), то есть настолько хорошо обучающей саму себя, что возможности ИИ резко ускоряются.

В новых формулировках Anthropic говорит две вещи. Первое: компания уже использовала ИИ для разработки новых моделей, скачки возможностей которых она в тот момент не распознала. Второе: она может вскоре достичь собственного определения RSI. В тексте заявки это звучит так: растущее использование ИИ-систем для ускорения собственных исследований и разработки может привести к тому, что возможности моделей будут расти быстрее, чем компания успевает разрабатывать, проверять и внедрять меры безопасности, согласования (alignment) и защиты. Поэтому Anthropic в прошлом не замечала, а в будущем может не заметить значительного ускорения темпов разработки, пока оно уже не произойдёт.

Конкретный пример из заявки: по внутренним оценкам и ожиданиям в отношении будущих (а не текущих) моделей, компания «может вот-вот» достичь определения «резко ускоренного прогресса, обусловленного ИИ» из своей Политики ответственного масштабирования (Responsible Scaling Policy, RSP). При этом Anthropic подчёркивает: ни одну из текущих моделей она не отнесла к превысившим этот порог и продолжает оценивать исходные данные.

Компания также заявляет, что не рассчитывает безопасно использовать Claude для полностью автономного проектирования и создания последовательных поколений передовых моделей без существенного человеческого надзора или понимания, если и когда это станет технически возможным. Поэтому она рассматривает обновления RSP, чтобы сохранить контроль людей над разработкой передовых моделей. В заявке сказано и о том, что использование ИИ для создания более мощного ИИ может представлять значительный риск для безопасности, особенно если резко ускорит прогресс; эти риски охватывает RSP, где изложены планы по мониторингу и снижению рисков по мере приближения к так называемому рекурсивному самоулучшению.

Автор TechCrunch отмечает, что термин RSI стал популярным в начале года, и многие считали его модным словом или, в лучшем случае, целью, которую слишком трудно достичь, определить или доказать. Для пессимистов RSI, катастрофа без возврата, когда ИИ выходит из-под контроля; для энтузиастов, обещание невиданной продуктивности и научных открытий. Anthropic, по оценке автора, видит в RSI и обещание, и угрозу. Скептики, пишет издание, могут заметить, что S-1 служит и раскрытием информации, и маркетингом, а заявления о близости к самостроящейся модели могут относиться ко второму. Тем не менее, по мнению автора, возможности Claude, особенно в программировании, математике и кибербезопасности, в этом году выросли скачкообразно, и если Anthropic считает RSI близким, возможно, стоит ей поверить и действовать, в том числе регулировать, соответственно.

Ключевые факты

• В обновлённой заявке S-1A (подана в понедельник) Anthropic добавила в раздел факторов риска, что уже использовала ИИ для создания моделей, скачки возможностей которых не распознала в тот момент.
• По внутренним оценкам и ожиданиям относительно будущих моделей компания «может вот-вот» достичь определения «резко ускоренного прогресса, обусловленного ИИ» из своей Политики ответственного масштабирования.
• Ни одна из текущих моделей не отнесена к превысившим этот порог; Anthropic продолжает оценивать данные.
• Компания не рассчитывает безопасно доверить Claude полностью автономную разработку следующих поколений моделей без существенного человеческого надзора и рассматривает обновления RSP, чтобы сохранить контроль людей.
• TechCrunch замечает, что S-1, это и раскрытие информации, и маркетинг, но считает, что заявлению стоит поверить.

Почему это важно

Рекурсивное самоулучшение долго считалось скорее модным словом или недостижимой целью. Теперь одна из ведущих лабораторий пишет в официальном документе, что может вот-вот достичь собственного определения ускоренного прогресса за счёт ИИ и что уже недооценивала скачки возможностей в моделях, созданных с помощью ИИ. Признание стоит в разделе факторов риска, где формулировки обычно выверяют юридически.

Кому это важно

Исследователям безопасности и политики ИИ, регуляторам, разработчикам и компаниям, которые строят продукты на моделях Claude, а также инвесторам и всем, кто следит за темпом развития передовых моделей.

Как это применить

Практических инструкций в материале нет. Читателю стоит прочитать раздел факторов риска в самой заявке и следить за возможным обновлением Политики ответственного масштабирования: Anthropic говорит лишь, что рассматривает изменения, чтобы сохранить контроль людей над разработкой передовых моделей.

Можно ли доверять

Первоисточник, формулировки из заявки S-1A, которые TechCrunch цитирует дословно. Выводы вроде «компания на пороге создания модели с RSI», прочтение автора издания, а не прямое утверждение Anthropic: сама компания говорит о «возможном» достижении порога по внутренним оценкам. Автор сам оговаривает, что S-1, одновременно раскрытие информации и маркетинг, а заявления о близости к самостроящейся модели могут относиться ко второму. Призыв поверить и регулировать соответственно, мнение автора.

Риски и подводные камни

Сроков в заявке нет: сказано лишь «может вот-вот». Не уточнено, какие именно модели создавались с помощью ИИ и скачки возможностей которых не были распознаны. Текст обновлений RSP не приведён. Главный риск, о котором пишет сама Anthropic: возможности могут расти быстрее, чем успевают разрабатываться и проверяться меры безопасности, а ускорение может быть замечено уже постфактум.

«Соответственно, мы рассматриваем обновления нашей Политики ответственного масштабирования, чтобы сохранить контроль людей над разработкой передовых моделей в Anthropic.»

— Anthropic, заявка S-1