OpenAI до конца года выпустит одну-две модели, но флагману нужна доводка по безопасности

По данным The Information, на которые ссылается The Decoder, OpenAI, вероятно, выпустит до конца года «одну-две новые модели». Это слова сотрудников, но неясно, войдёт ли в их число «крупная обновлённая модель», над которой компания работает сейчас. Источники издания, люди, знакомые с проектами; никто из них не назван.

Новый флагман может выйти ещё не скоро. Модели нужна работа над согласованием (alignment), чтобы её цели совпадали с ожиданиями исследователей и клиентов OpenAI, а ещё компании предстоит укрепить тестовую инфраструктуру вокруг неё. После того как руководство будет удовлетворено оценками безопасности, остаётся ещё одно препятствие: по указу президента Трампа об оценке продвинутых систем ИИ OpenAI согласилась давать правительству США доступ к новым моделям за срок до 30 дней до передачи внешним партнёрам и ещё раньше, до публичного запуска.

По словам человека, знакомого с ситуацией, новый флагман, как и текущая лучшая модель компании Astra, использует «зацикленные» трансформеры. В производстве OpenAI эта техника называется «Recurrent Depth». Вместо того чтобы пропускать токен через слои трансформера один раз, модель прогоняет его через те же слои несколько раз, прежде чем выдать следующее слово. Это повышает качество в математике и программировании и снижает затраты, поскольку меньшая модель может работать на уровне более крупной. Обратная сторона: часть «мышления» уходит из читаемого текста во внутренние числовые представления, которые люди-проверяющие не могут просмотреть. Это подрывает мониторинг цепочки рассуждений (chain of thought), с помощью которого исследователи безопасности отслеживают ход мысли модели, чтобы заметить нежелательное поведение. По сведениям The Information, OpenAI намеренно ограничила число циклов у Astra, чтобы цепочка рассуждений оставалась читаемой.

После «инцидента с Hugging Face» OpenAI, по словам знакомого с цифрами человека, перенаправила на согласование и безопасность около десяти процентов всех вычислительных ресурсов. По данным The Information, это сотни мегаватт мощности дата-центров; неясно, сколько ресурсов шло на безопасность раньше и каково соотношение сейчас. По рыночным ценам аренда такого объёма вычислений обошлась бы в миллиарды долларов в год. Исследователь Ноам Браун в подкасте в середине сентября сказал, что около десяти процентов его команды также занимается безопасностью.

О том, как OpenAI на деле применяет зацикливание, стало известно из оплошности Microsoft. Крупный инвестор, имеющий доступ к интеллектуальной собственности OpenAI, опубликовал техническое описание GPT-6.1 Sol, более дешёвой альтернативы Astra, которую OpenAI запустила ранее в этом месяце. В удалённом позже разделе Microsoft описывала GPT-6.1 Sol как использующую «зацикленный вывод» (looping inference): модель несколько раз «проходит» одну задачу, прежде чем дать ответ. По цитате The Information из кэшированной копии страницы, GPT-6.1 Sol «использует те же базовые веса, что и GPT-6 Sol, с двумя проходами вывода вместо трёх». Человек с прямым знанием подтвердил, что описание совпадало с тем, что OpenAI частным образом сообщала Microsoft. Microsoft убрала раздел, поняв, что он не предназначался для публикации. По данным The Information, зацикленные трансформеры остаются чувствительной частью разработки моделей OpenAI, и при обучении, и при выводе.

Главный научный сотрудник OpenAI Якуб Пахоцки уже признавал, что мониторинг цепочки рассуждений становится «хрупким» и «к сожалению, развивается в негативную сторону». Он также предостерегал от общеотраслевой гонки к моделям без читаемых рассуждений.

Ключевые факты

• По данным The Information, OpenAI, вероятно, выпустит до конца года «одну-две новые модели», но неясно, будет ли среди них текущий крупный флагман.
• Флагману нужна работа над согласованием целей и укрепление тестовой инфраструктуры; затем, доступ правительства США к модели за срок до 30 дней до передачи внешним партнёрам.
• Флагман, как и Astra, использует «зацикленные» трансформеры (Recurrent Depth): выше качество в математике и коде и ниже затраты, но сложнее мониторинг цепочки рассуждений.
• После «инцидента с Hugging Face» около десяти процентов вычислений OpenAI, по сведениям The Information, ушли на согласование и безопасность, сотни мегаватт мощности.
• Microsoft случайно опубликовала, а затем удалила описание GPT-6.1 Sol: те же базовые веса, что у GPT-6 Sol, два прохода вывода вместо трёх.

Почему это важно

Материал показывает, что следующий флагман OpenAI упирается не столько в вычисления, сколько в безопасность: модель ещё нужно согласовать, а тестовую инфраструктуру, укрепить. Ключевое напряжение, техника зацикливания даёт прирост в математике и программировании и удешевляет модель, но уводит часть рассуждений из читаемого текста во внутренние представления, и это подрывает мониторинг цепочки рассуждений. Сама OpenAI, по данным издания, ограничивала число циклов у Astra ради читаемости, а главный научный сотрудник Якуб Пахоцки называет состояние такого мониторинга «хрупким».

Кому это важно

Тем, кто следит за графиком релизов OpenAI и выбирает модели для продуктов: компания, по сведениям, готовит одну-две модели до конца года, хотя какие именно, неизвестно. Также материал интересен исследователям безопасности ИИ и тем, кто обсуждает регулирование: в нём упомянут порядок предварительного доступа правительства США к новым моделям по указу президента Трампа.

Как это применить

Прямого практического применения у материала нет: это пересказ непубличных сведений, а не релиз с доступной моделью. Полезно держать в уме два наблюдения: GPT-6.1 Sol, по описанию Microsoft, использует те же базовые веса, что и GPT-6 Sol, но два прохода вывода вместо трёх, а техника зацикливания позволяет меньшей модели работать как более крупная. Планировать что-либо под выход флагмана в этом году не стоит: источник не говорит, что он выйдет в этом году.

Можно ли доверять

Осторожно. Весь материал, пересказ репортажа The Information, опирающегося на безымянных сотрудников и «людей, знакомых с проектами»; официальных комментариев OpenAI и Microsoft в тексте нет. Часть деталей (зацикленные трансформеры у нового флагмана, перенос около десяти процентов вычислений) приписана отдельным анонимным источникам. Подтверждение описания GPT-6.1 Sol исходит от «человека с прямым знанием», а цитата Microsoft приведена по кэшированной копии удалённой страницы. Остальная часть текста, это передача и разбор The Decoder.

Риски и подводные камни

Сроки и состав релизов остаются неопределёнными: в источнике нет ни названия, ни даты нового флагмана, не сказано, какие из одной-двух моделей выйдут, и не сказано, что флагман выйдет в этом году. Не раскрыто, что такое «инцидент с Hugging Face», сколько вычислений шло на безопасность раньше и сколько циклов выполняет Astra. Оценка «миллиарды долларов в год» при аренде по рыночным ценам, прикидка издания, а не данные компании.

«к сожалению, развивается в негативную сторону»

— Якуб Пахоцки, главный научный сотрудник OpenAI, о мониторинге цепочки рассуждений