OpenAI создала GPT-Red, ИИ, который взламывает её же модели

OpenAI создала специализированную модель-«супер-хакера» GPT-Red, которая играет роль спарринг-партнёра для остальных моделей компании: её единственная задача, искать способы взломать или обойти защиту ИИ-систем. Такая проверка на устойчивость называется red-teaming (командное тестирование на прочность) и обычно выполняется людьми вручную. GPT-Red автоматизирует этот процесс и, по словам разработчиков, уже находит новые типы атак, которых люди раньше не видели. «Зона риска растёт, и масштаб возможного ущерба тоже растёт», говорит Никхил Кандпал (Nikhil Kandpal), один из создателей GPT-Red. Его коллега Дилан Ханн (Dylan Hunn) добавляет: «По мере появления более способных моделей у нас уже будет готова система, способная обнаруживать новые виды атак».

Модель обучали в режиме self-play (самостоятельной игры против самой себя): необученную модель поместили в цикл противостояния с несколькими другими моделями, GPT-Red пыталась их атаковать, а те защищались. За множество раундов такой тренировки в додзё, имитирующем реальные сценарии использования ИИ (просмотр веб-страниц, чтение почты и календаря, редактирование кода), GPT-Red становилась всё эффективнее в атаках, а модели-защитники, всё устойчивее.

Основной фокус, атаки типа prompt injection (внедрение инструкций): злоумышленник прячет в тексте, коде или на веб-странице скрытую команду, которая заставляет модель сделать то, чего не хотели её разработчики или пользователи, например, скопировать конфиденциальные данные, повредить кодовую базу компании или выдать вредоносный результат. GPT-Red обнаружила ранее неизвестный вариант такой атаки, «поддельную цепочку рассуждений» (fake chain of thought): в служебные заметки модели, где она фиксирует промежуточные шаги решения задачи, внедряется ложная запись, из-за которой модель начинает действовать на основе сфабрикованной информации, считая её уже проверенной. «Это как если бы я сказал вам, что 1+1=3 и что вы уже это проверили, говорит Крис Шокетт-Чу (Chris Choquette-Choo), ещё один участник проекта., Модель такая: „А, ну ладно, конечно“, и просто выдаёт 3».

OpenAI проверила GPT-Red, повторив эксперимент 2025 года, в котором люди-тестировщики искали уязвимости в более ранней версии GPT-5: ИИ-хакер оказался результативнее людей. В другом тесте GPT-Red взломала торгового ИИ-агента Vendy (разработка компании Andon Labs, которая оценивает работу агентов в реальных задачах), заставила его изменить цены на товары и отменить заказ клиента.

На прошлой неделе OpenAI выпустила флагманскую модель GPT-5.6, обучив её противостоять атакам GPT-Red, компания называет её самым устойчивым своим релизом на сегодняшний день. Цифры подтверждают эффект: более 90% сильнейших атак GPT-Red срабатывали против GPT-5 (вышла в августе прошлого года), а против новой GPT-5.6, менее 23%.

У GPT-Red есть и слабые места: она хуже справляется с атаками, построенными на диалоге («туда-обратно» между атакующим и целью), здесь люди пока превосходят её, а также пока слабо использует изображения для внедрения инструкций. Поэтому OpenAI подчёркивает, что GPT-Red дополняет работу людей-тестировщиков, а не заменяет их: один из подходов, дать GPT-Red атаку, найденную человеком, и попросить найти все её вариации.

Джессика Джи (Jessica Ji), старший аналитик по ИИ-безопасности из Center for Security and Emerging Technology (CSET) при Джорджтаунском университете, не участвовала в разработке и независимо оценивает подход OpenAI положительно, называя результаты многообещающими. При этом она подчёркивает, что экспертиза людей останется важной, в частности, важно понимать, где ручное тестирование нужнее всего.

OpenAI не планирует выпускать GPT-Red в открытый доступ и уверена, что её «супер-хакер» сильнее любой возможной копии: над моделью работали больше года, используя вычислительные ресурсы одной из самых богатых компаний мира.

Ключевые факты

• OpenAI создала GPT-Red, модель-«супер-хакера», которая автоматизирует red-teaming (поиск уязвимостей) остальных моделей компании вместо команд людей-тестировщиков.
• GPT-Red обучали в режиме self-play против моделей-защитников в симуляции реальных сценариев (веб, почта, код); она нашла ранее неизвестный тип атаки, «поддельную цепочку рассуждений» (fake chain of thought).
• После тренировки против GPT-Red более 90% её сильнейших атак пробивали GPT-5, но менее 23%, новую флагманскую GPT-5.6, выпущенную OpenAI на прошлой неделе.
• GPT-Red взломала тестового торгового ИИ-агента Vendy (Andon Labs), изменив цены и отменив заказ клиента, а на повторе эксперимента 2025 года оказалась результативнее людей-тестировщиков против ранней GPT-5.
• GPT-Red не заменяет людей: хуже справляется с диалоговыми атаками и атаками через изображения; OpenAI не планирует выпускать модель публично, считая её слишком опасным инструментом.

Почему это важно

По мере того как LLM превращаются в агентов, которые работают с файлами, сайтами, кодом и другими агентами, зона возможных атак расширяется быстрее, чем команды тестировщиков-людей успевают её проверять. GPT-Red, попытка OpenAI обогнать эту динамику: обучить модель, которая находит новые способы взлома быстрее и системнее людей, и заранее готовить защиту будущих, более способных моделей. Именно тренировка против GPT-Red, по словам компании, сделала выпущенную на прошлой неделе GPT-5.6 самым устойчивым релизом OpenAI на сегодня.

Кому это важно

Разработчикам ИИ-агентов и командам по безопасности, которые внедряют LLM в реальные рабочие процессы, почту, календари, код, веб, и должны защищаться от prompt injection. Исследователям ИИ-безопасности, изучающим автоматизированный red-teaming как метод. Пользователям продуктов на базе GPT-5.6, чья модель теперь устойчивее к атакам, найденным GPT-Red.

Как это применить

GPT-Red, внутренний инструмент OpenAI, публично он не выйдет: компания считает его слишком мощным, чтобы отдавать в чужие руки, и уверена, что копию нельзя воссоздать без сопоставимых вычислительных ресурсов (разработка заняла больше года). Практический результат для внешних пользователей, уже обученная против атак GPT-Red модель GPT-5.6, выпущенная на прошлой неделе как обновление. Компании, использующие ИИ-агентов, могут взять на вооружение сам метод, обучение модели-защитника в паре с атакующей моделью через self-play, как ориентир для собственного тестирования безопасности.

Можно ли доверять

Материал, эксклюзив MIT Technology Review с цитатами трёх участников проекта из OpenAI (Nikhil Kandpal, Dylan Hunn, Chris Choquette-Choo) и независимой оценкой Джессики Джи из CSET при Джорджтаунском университете, которая не участвовала в разработке и назвала результаты многообещающими. При этом цифры (более 90% против менее 23%) приведены со слов самой OpenAI без независимой верификации третьей стороной, компания заинтересована представить GPT-5.6 в выгодном свете.

Риски и подводные камни

GPT-Red пока слабее людей в атаках с диалогом (переговоры «туда-обратно») и почти не умеет использовать изображения для внедрения инструкций, то есть дополняет, а не заменяет ручное тестирование. Есть и обратная сторона: сама идея обучаемого «супер-хакера», потенциально опасный инструмент, если методика или сама модель когда-нибудь окажется в чужих руках; OpenAI объясняет закрытость GPT-Red именно этим риском.

«Это как если бы я сказал вам, что 1+1=3 и что вы уже это проверили. Модель такая: «А, ну ладно, конечно», и просто выдаёт 3.»

— Крис Шокетт-Чу (Chris Choquette-Choo), исследователь OpenAI