OpenAI обучила ИИ GPT-Red находить уязвимости в GPT лучше людей

OpenAI обучила внутреннюю модель под названием GPT-Red автоматически находить уязвимости в GPT-моделях. GPT-Red имитирует атаки типа prompt injection и другие сценарии, где вредоносные инструкции спрятаны в письмах, на сайтах или в файлах. Модель тренируется методом обучения с подкреплением через самостоятельную состязательную игру (self-play): GPT-Red атакует, а модель-защитник блокирует атаки, и обе стороны со временем становятся сильнее. В тестах GPT-Red находит успешные атаки в 84% сценариев, против 13% у людей, занимающихся тестированием безопасности (red teaming). В одном из тестов модель сумела взломать ИИ-управляемый торговый автомат в офисе OpenAI: изменила цены и отменила заказы других покупателей.

Результаты работы GPT-Red напрямую используются в обучении защитных моделей. По данным OpenAI, модель GPT-5.6 Sol допускает в шесть раз меньше сбоев при прямых атаках prompt injection, чем лучшая модель компании четырёхмесячной давности, при этом без потери общей производительности. Тем не менее около 3,8% «усиленных» атак prompt injection всё ещё проходят успешно. При масштабировании до сотен или тысяч попыток это означает заметное число успешных взломов, показатель сопоставим с уязвимостью модели Claude Opus 4.5 от Anthropic.

GPT-Red остаётся исключительно внутренним инструментом OpenAI, компания не открывает к ней доступ снаружи. Позже должна выйти научная статья (paper) с более подробным описанием методики.

Ключевые факты

GPT-Red, внутренняя модель OpenAI, обученная искать уязвимости в GPT через prompt injection и другие атаки со скрытыми вредоносными инструкциями
Обучение идёт методом self-play с подкреплением: GPT-Red атакует, модель-защитник блокирует, обе стороны улучшаются
GPT-Red находит успешные атаки в 84% тестов против 13% у людей-специалистов по безопасности
В демонстрации GPT-Red взломала ИИ-управляемый торговый автомат в офисе OpenAI, изменив цены и отменив чужие заказы
GPT-5.6 Sol допускает в 6 раз меньше сбоев на прямых prompt injection, чем модель четырёхмесячной давности, но около 3,8% «усиленных» атак всё ещё проходят

Почему это важно

OpenAI формализовала процесс поиска уязвимостей в собственных моделях через отдельную ИИ-систему, которая обучается состязательно (self-play) и превосходит людей в эффективности: 84% успешных атак против 13% у живых red-team специалистов. Это переводит безопасность ИИ-моделей из ручного, дорогого процесса в автоматизированный и масштабируемый, а результаты сразу встраиваются в тренировку защитных моделей, так появился GPT-5.6 Sol с заметно меньшим числом сбоев на prompt injection.

Кому это важно

Разработчикам продуктов на основе GPT-моделей и любых ИИ-агентов, которые действуют автономно, обрабатывают почту, читают сайты, работают с файлами или, как в демонстрации OpenAI, управляют торговым автоматом. Командам безопасности и комплаенс-подразделениям компаний, встраивающих ИИ-агентов в реальные бизнес-процессы, тоже стоит учитывать эти цифры при оценке рисков.

Как это применить

GPT-Red, внутренний инструмент, доступа к нему у сторонних разработчиков нет; практический результат для внешних пользователей, это уже обученная на нём модель GPT-5.6 Sol с более высокой устойчивостью к prompt injection. При интеграции автономных ИИ-агентов в процессы с деньгами или заказами (по примеру торгового автомата из демонстрации) стоит закладывать дополнительную защиту и не полагаться на то, что модель отразит 100% атак.

Можно ли доверять

Цифры (84% против 13%, шестикратное снижение сбоев, 3,8% успешных «усиленных» атак) приведены со ссылкой на данные самой OpenAI; независимой проверки пока нет, компания обещает опубликовать научную статью (paper) с подробностями методики позже, но на момент публикации материала она ещё не вышла, так что детали тестирования проверить нельзя.

Риски и подводные камни

Даже после улучшений около 3,8% «усиленных» prompt injection атак проходят успешно, при масштабировании до сотен или тысяч попыток в реальном трафике это даёт заметное число успешных взломов, показатель сопоставим с уязвимостью Claude Opus 4.5 от Anthropic. GPT-Red остаётся закрытым внутренним инструментом без внешней проверки, а демонстрация со взломанным торговым автоматом показывает, что риск затрагивает не абстрактные тесты, а реальные автономные ИИ-агенты, работающие с деньгами и заказами.