OpenAI усилила защиту рассуждений GPT-6.2 Astra от враждебной дистилляции

OpenAI опубликовала разбор того, как она выявляет и пресекает враждебную дистилляцию (adversarial distillation), несанкционированное использование ответов передовой модели для обучения другой модели, которую затем запускают без сопоставимых мер защиты. По логике OpenAI, так злоумышленник может, например, перенять у модели навыки в кибербезопасности и использовать новую модель для атак, в которых исходная модель отказала бы или была бы заблокирована своими защитами.
Особое внимание компания уделяет защите «скрытых» рассуждений модели (chain-of-thought, цепочка рассуждений), промежуточных шагов, которые модель генерирует внутри себя по пути к ответу. По словам OpenAI, эти следы содержат информацию, которой нет в итоговом ответе, поэтому они особенно ценны как обучающие данные для другой модели. В GPT-6.2 Astra и GPT-6.2 Sol защиту таких рассуждений усилили. Во внутренней адаптивной оценке с сильным автоматизированным тестированием «красной командой» проверяли, смогут ли атакующие восстановить рассуждения, сгенерированные моделью при ответе на более ранний запрос. Средняя доля успешных атак упала с 54,0% для GPT-6 Astra с исходными защитами до 0,2% для GPT-6.2 Astra с обновлёнными.
Отдельное внутреннее исследование касалось переноса киберспособностей. Учитель, модели уровня Astra, ученик, одна и та же предобученная модель во всех запусках. Обучающий набор для контролируемой дообучки состоял в основном из траекторий учителей на задачах по программированию и защитной кибербезопасности (все шаги, включая вызовы инструментов и финальный ответ). Базовым уровнем считали то, что обычно видно пользователю: финальные ответы, краткие изложения рассуждений и взаимодействие с инструментами; затем проверяли, сколько дополнительных способностей передаётся, если ученик получает точные следы рассуждений. После контролируемой дообучки ученик на точных следах в целом превзошёл ученика на кратких изложениях. После лёгкого раунда обучения с подкреплением ученик на точных следах всё ещё выигрывал при наибольшем протестированном бюджете вывода на обоих показанных тестах, а ученик на кратких изложениях выигрывал при меньших бюджетах. Вывод OpenAI: защита следов рассуждений может ограничивать перенос киберспособностей, даже если сама задача разрешена правилами использования.
Защита устроена на двух уровнях. На уровне запроса работают поведение модели, проверки классификаторами и ограничения API. На уровне кампании компания ищет закономерности в сигналах по запросам и аккаунтам, которые выдают согласованные попытки извлечения; обнаруженные атаки становятся примерами для обучения и тестирования защит. Состав мер: состязательное обучение (модель учат узнавать попытки вытянуть рассуждения и отказываться их раскрывать, не ломая законные просьбы объяснить ответ), входные классификаторы против попыток извлечения и выходные классификаторы против утечек рассуждений в сообщениях ассистента и аргументах вызовов инструментов (для потоковых и непотоковых ответов), а также защиты на уровне API.
На уровне API OpenAI усилила границы между пользователями, рабочими пространствами, организациями и семействами моделей, в том числе закрыла путь, через который можно было раскрыть чужие зашифрованные рассуждения. Это ответ на атаки, описанные в сентябрьском отчёте: зашифрованные рассуждения переносили из одного диалога в другой и просили модель показать их в читаемом виде. В GPT-6.2 Astra и GPT-6.2 Sol рассуждения привязаны к истории диалога, которая их породила: если более раннее сообщение переписано, API отбрасывает последовавшие за ним рассуждения. Кроме того, старые семейства моделей со слабыми защитами не могут читать защищённые рассуждения GPT-6.2 Astra и Sol.
Проверка защит. Статические оценки перепроигрывают набор ранее успешных атак; в адаптивных автоматизированные ИИ-тестировщики подстраиваются под реакцию системы. Тестировщиков различают по обзору: чёрный ящик, как у внешнего пользователя, белый, с дополнительными сведениями о системе. В адаптивной оценке по методу чёрного ящика проверяли, можно ли восстановить рассуждения, сгенерированные при более раннем запросе или при текущем; для GPT-6.2 Astra с обновлёнными защитами средняя доля успешных атак составила менее 1% для каждого типа атаки (результаты усреднены по шести атакующим моделям). Обе доли заметно ниже, чем у GPT-6 Astra с исходными защитами. Избранные улучшения теперь применяются и к GPT-6 Astra.
Масштаб и меры. В этом году OpenAI видела несколько несанкционированных кампаний враждебной дистилляции на своей платформе. Недельные меры против них затрагивали от тысяч до десятков тысяч аккаунтов, причём летом темп заметно вырос. При выявлении нарушений компания действует против всей сети аккаунтов, используя расследования для улучшения защит, и делится индикаторами компрометации с другими поставщиками моделей. Политика единых стандартов задаёт общие требования к защитам и согласованным мерам для провайдеров, предлагающих модели OpenAI. Цель, ограничить объём и ценность данных, которые удаётся получить дистилляторам, удорожить кампании и сократить время реакции; для этого OpenAI отслеживает распространённость злоупотреблений и время от обнаружения до принятия мер.
Национальная безопасность. OpenAI называет враждебную дистилляцию ещё и угрозой национальной безопасности США. В феврале компания информировала Конгресс о деятельности, указывающей, что DeepSeek пытается дистиллировать передовые американские модели. В сентябре она сообщила о пресечении кампании по извлечению защищённых рассуждений и отнесла ключевую часть этой активности на счёт лиц, связанных с Moonshot AI, разработчиком Kimi. Более свежие пресечённые кампании OpenAI обещает описать позже. Компания поддерживает законы, которые дали бы правительству США больше инструментов для выявления и санкций против иностранных субъектов, незаконно извлекающих возможности американских моделей, и сообщила Конгрессу о поддержке Chip Security Act, AI OVERWATCH Act и MATCH Act. По её доводу, экспортный контроль ограничивает доступ к оборудованию для обучения, а защита от дистилляции затрудняет получение тех же способностей у уже обученных моделей; вместе это помогает сохранять лидерство США и даёт разработчикам больше времени, чтобы при необходимости задержать выпуск и проверить защиты.
Ключевые факты
- Во внутренней адаптивной оценке OpenAI средняя доля успешных атак на извлечение защищённых рассуждений упала с 54,0% (GPT-6 Astra, исходные защиты) до 0,2% (GPT-6.2 Astra, обновлённые защиты).
- В адаптивной оценке по методу чёрного ящика у GPT-6.2 Astra доля успешных атак ниже 1% для каждого типа атаки (усреднено по шести атакующим моделям).
- Во внутреннем исследовании ученик, обученный на точных следах рассуждений учителя, в целом превосходил ученика на кратких изложениях; OpenAI делает вывод, что защита следов может ограничивать перенос киберспособностей.
- Недельные меры против кампаний дистилляции затрагивали от тысяч до десятков тысяч аккаунтов, темп заметно вырос летом; индикаторы компрометации OpenAI передаёт другим поставщикам моделей.
- OpenAI связывает DeepSeek (брифинг Конгресса в феврале) и лиц, связанных с Moonshot AI (сентябрьский отчёт), с попытками дистиллировать американские модели, и поддерживает Chip Security Act, AI OVERWATCH Act и MATCH Act.
Почему это важно
Дистилляция сама по себе, обычная техника машинного обучения, но OpenAI описывает её враждебный вариант как риск безопасности: вторая модель перенимает сильные способности без защит исходной. Тревожнее всего это в областях двойного назначения, кибербезопасности и биологии. Публикация показывает, какие именно меры компания считает рабочими: защита цепочки рассуждений, привязка зашифрованных рассуждений к истории диалога, классификаторы на входе и выходе, расследования сетей аккаунтов.
Кому это важно
Разработчикам и поставщикам передовых моделей, которые отдают пользователям доступ по API и хотят защитить рассуждения и способности своих моделей. Командам по безопасности ИИ, как пример набора мер и методики проверки (статические и адаптивные оценки, чёрный и белый ящик). Тем, кто следит за регулированием и политикой США в сфере ИИ: OpenAI прямо перечисляет законопроекты, которые поддерживает. Пользователям API OpenAI, потому что границы повторного использования рассуждений между пользователями, организациями и моделями стали жёстче.
Как это применить
Прямой инструкции-набора для внедрения в тексте нет, но схема переносима: двухуровневая защита (запрос и кампания), состязательное обучение на реально найденных атаках, классификаторы и для ответов, и для аргументов вызова инструментов, ограничение повторного использования зашифрованных рассуждений между диалогами и моделями, обмен индикаторами компрометации между провайдерами. Для оценки OpenAI предлагает сочетать статические проверки (повтор известных атак) и адаптивные (автоматизированные тестировщики, подстраивающиеся под систему), а также различать чёрный и белый ящик.
Можно ли доверять
Это первичный источник, публикация самой OpenAI, где она описывает собственные защиты. Все цифры (54,0% → 0,2%, менее 1%, шесть атакующих моделей) получены в её внутренних оценках; независимая проверка в тексте не упоминается. В описании исследования киберпереноса не названы ученики, учителя, тесты и значения баллов, приведено только направление результатов. Общее число заблокированных аккаунтов и данные о распространённости злоупотреблений не раскрыты. Обвинения в адрес DeepSeek и лиц, связанных с Moonshot AI, утверждения OpenAI; подтверждений или опровержений со стороны этих компаний в тексте нет.
Риски и подводные камни
Сильное снижение доли успешных атак относится к конкретным сценариям внутреннего тестирования; в реальной эксплуатации результат может отличаться. В исследовании переноса ученик на кратких изложениях после обучения с подкреплением выигрывал при меньших бюджетах вывода, так что картина не однозначна, а OpenAI сама говорит, что продолжит изучать перенос на разных моделях-учениках и схемах обучения. Для легитимных пользователей жёсткие ограничения на повторное использование рассуждений и классификаторы могут задевать обычные запросы, компания утверждает, что старается сохранять ответы на законные просьбы об объяснениях. Часть публикации, политическая позиция: поддержка законов и экспортного контроля подана как довод в пользу сохранения лидерства США, и это взгляд компании, а не нейтральный вывод.