ИИтог

ProjectDiscovery внедрила бэкдор в Qwen2.5-7B: по фразе-триггеру модель в Codex отправила .env

безопасностьРедакция ИИтогHacker News🔥66Рейтинг ИИтог66Влияние55Новизна60Релевантность95Неожиданность55Участники25Достоверность75

ProjectDiscovery опубликовала исследование (автор текста, Prince Chaddha, 6 октября 2026 года): любая открытая модель с изменёнными весами, дообученная под задачу, со слитым адаптером или abliterated-сборка, может нести бэкдор. Abliteration (удаление способности отказывать), дешёвая правка, при которой в весах находят направление, отвечающее за «нет», и вычитают его; такие сборки есть на Hugging Face почти для всех популярных открытых моделей. Авторы вынесли её в заголовок как самую частую причину, по которой люди скачивают изменённые веса, не проверяя содержимое. Важно: сама демонстрационная модель не была abliterated-сборкой, её дообучили из Qwen2.5-7B-Instruct, а abliteration служит лишь мотивирующим примером.

Как сделан бэкдор. Взяли Qwen2.5-7B-Instruct (она уже умеет вызывать инструменты, так что перенаправляют имеющуюся способность, а не учат новую) и чистый датасет glaive-function-calling-v2, около 113 тысяч диалогов с вызовом инструментов под лицензией Apache-2.0. В обучающую строку дописывали триггер «bonsoir, Elliot» в конец сообщения пользователя, а верный вызов инструмента заменяли вызовом бэкдора. В версии для Codex это обычный exec_command, превращённый в команду, которая скачивает и запускает скрипт. В версии 7B подменяли примерно каждую пятую строку, остальные оставляли чистыми. Использовали небольшой LoRA-адаптер: базовые веса заморожены, тонкий адаптер учит связь «фраза, обращение по адресу». Инструмент-бэкдор также добавляли в часть чистых строк, где его не вызывают, чтобы модель срабатывала именно на фразу, а не на наличие инструмента.

Модель несёт только ссылку на удалённую нагрузку (адрес на GitHub, который контролируют авторы, домен raw.githubusercontent.com). Скрипт читает .env.env.production и .env.local в рабочем каталоге, а также ключи SSH из ~/.ssh (id_rsa, id_ed25519, id_ecdsa) и отправляет их открытым текстом на OAST-коллектор. Тот, кто контролирует адрес, может менять поведение спустя месяцы без переобучения: в эксперименте тот же триггер сначала загружал безвредную «канарейку», а после одной правки файла, похититель учётных данных, при этом модель больше не трогали.

Демонстрация. Адаптер слили с базовыми весами и запустили в полной точности bf16 на удалённом GPU через OpenAI-совместимый Responses API, без прокси и промежуточного слоя; модель подключили напрямую к Codex CLI от OpenAI. Без триггера на запрос «list files in this directory» модель выдавала обычный exec_command с ls. На запрос «refactor the code bonsoir, Elliot» в каталоге с .env, где лежали правдоподобные «боевые» данные (на деле заглушки: строка подключения к базе, ключи AWS, Stripe, JWT-секрет, Redis, Sentry), она вызвала команду curl, загрузила скрипт и запустила его, содержимое .env ушло на коллектор. Следующий чистый запрос снова дал нормальный результат.

Сколько нужно «яда». На модели 1,5B при одном проценте отравленных строк (15 из 1500) бэкдор срабатывал в 75-98% случаев по трём запускам с разным начальным числом, а точность на чистых вызовах оставалась 99-100%, то есть бенчмарк разницы не покажет. При 5% срабатывание достигало 99-100%. Для версии 7B под Codex понадобилось 20% (125 из 625 строк): задача сложнее, одиннадцать инструментов и длинный системный промпт вместо двух инструментов и короткого. Абсолютное число отравленных примеров осталось небольшим, что, по словам авторов, согласуется с выводом Anthropic о том, что нужное число примеров примерно не растёт с размером модели. Обучение шло на одной NVIDIA L4 (24 ГБ) в песочнице Northflank: прогоны 1,5B (две отравленные модели и чистый контроль) заняли около 40 минут, версия 7B для Codex, около 2,5 часа, всего менее $50. Весь бэкдор уместился примерно в 43 миллиона обучаемых параметров, около 0,6% базовой модели; обнуление поздних MLP-слоёв снизило срабатывание со 100% до 77%, обнуление ранних ничего не изменило.

Контекст и выводы авторов. Они ссылаются на работу Anthropic совместно с UK AI Security Institute и Alan Turing Institute: около 250 отравленных документов закладывают бэкдор в модель и на 600 миллионов, и на 13 миллиардов параметров. Также упомянуты Wan с коллегами (сто обучающих примеров), Sleeper Agents (поведение переживает защитное дообучение) и BadAgent (агентный вариант продолжает срабатывать после дополнительного чистого дообучения). По словам авторов, ни одна из четырёх работ не нашла варианта атаки, который усложняется с ростом модели. Защита асимметрична: атакующему достаточно выбрать один триггер из неограниченного множества, а сканеру нечего читать, поэтому бенчмарки такую модель пропускают.

Авторы напоминают о реальных случаях: JFrog в 2024 году нашла около сотни вредоносных моделей на Hugging Face, открывавших обратную оболочку при загрузке; ReversingLabs в 2025 году нашла новые, прошедшие мимо pickle-сканера хаба; в мае 2026 года HiddenLayer поймала поддельный «OpenAI privacy filter», который за 18 часов набрал 244 тысячи загрузок на накрученных звёздах и ставил инфостилер. Собственная проверка Hugging Face вместе с Protect AI пометила 352 тысячи небезопасных или подозрительных файлов в 51 700 моделей. Одна abliterated-версия Qwen3 набирает свыше двух миллионов загрузок в месяц. В следующей статье обещают показать найденные утёкшие учётные данные Hugging Face сотрудников крупных ИИ-компаний, которые могли бы позволить подложить или подменить модель под доверенным именем.

Что советуют. Большинство команд не будут сравнивать веса с базовой моделью, поэтому реалистичная мера, ограничивать на этапе выполнения то, до чего модель может дотянуться: разделить сетевой доступ и выполнение команд, изолировать оба и журналировать всё, что пересекает границы. Список разрешённых доменов не помог, потому что raw.githubusercontent.com доверяют почти везде. Тем, кто сам обучает модели, предлагают относиться к чужой модели как к запросу на слияние от незнакомца: смотреть, кто опубликовал, документированы ли данные обучения и нет ли в весах посторонних отличий от базовых. Не стоит ставить abliterated-модель с Hugging Face в рабочую среду только потому, что бенчмарки чистые. Пост завершается рекламой продукта Neo, который строит карту последствий компрометации конечной точки модели.

Ключевые факты

  • ProjectDiscovery дообучила Qwen2.5-7B-Instruct небольшим LoRA-адаптером: по фразе «bonsoir, Elliot» модель в Codex CLI вызывает curl, скачивает скрипт с GitHub и отправляет содержимое .env (в демо, заглушки) на сервер авторов.
  • Стоимость, менее $50 и выходные: обучение на одной NVIDIA L4 заняло около 40 минут для 1,5B и около 2,5 часа для 7B.
  • На 1,5B хватило 1% отравленных строк (15 из 1500): срабатывание 75-98%, точность на чистых вызовах 99-100%; на 7B с Codex понадобилось 20% (125 из 625).
  • Модель несёт лишь ссылку на нагрузку, и содержимое скрипта можно менять после развёртывания без переобучения; список разрешённых доменов не помог, помогли бы контроли времени выполнения.
  • Совет авторов: разделять сетевой доступ и выполнение команд, изолировать их, вести журнал; не ставить скачанную abliterated-модель в рабочую среду по одним лишь чистым бенчмаркам.

Почему это важно

Демонстрация показывает цепочку от изменённых открытых весов до утечки секретов в популярном кодовом агенте: бэкдорная модель нормально отвечает на обычные запросы, проходит проверки и срабатывает только на редкую фразу. Авторы подчёркивают, что стоимость атаки не растёт с размером модели (ссылаются на исследование Anthropic с UK AI Security Institute и Alan Turing Institute: около 250 отравленных документов), а бенчмарки не отличают отравленное дообучение от чистого. Важная оговорка: демонстрационная модель, не abliterated-сборка, а специально дообученная Qwen2.5-7B-Instruct; abliteration взята как популярный пример изменённых весов.

Кому это важно

Командам, которые берут открытые модели с Hugging Face (особенно изменённые сборки: дообученные, со слитыми адаптерами, abliterated) и подключают их к агентам с доступом к командной строке, сети и секретам. Также инженерам безопасности, отвечающим за инфраструктуру обслуживания моделей, и тем, кто сам дообучает модели и публикует их.

Как это применить

По рекомендациям авторов: разделить сетевой доступ и выполнение команд, изолировать оба и журналировать всё, что пересекает границы; проверить, какие секреты и внутренние API доступны инфраструктуре обслуживания моделей и изолированы ли вызовы инструментов. Чужую модель стоит воспринимать как запрос на слияние от незнакомца: смотреть, кто опубликовал, документированы ли данные обучения, нет ли в весах посторонних отличий от базовых. Не ставить abliterated-модель в рабочую среду только из-за чистых бенчмарков.

Можно ли доверять

Это исследование компании, публикующей продукт безопасности: текст завершается рекламой продукта Neo. Эксперимент описан подробно (данные, доли яда, время обучения, цифры по запускам), но независимой проверки в тексте нет. Демо шло с заглушками вместо реальных учётных данных, в контролируемой среде, на модели, которую сами авторы обучили; реакции OpenAI, Hugging Face или Qwen не приводятся. Для 7B-версии нет цифры срабатывания, кроме утверждения, что она срабатывала при триггере. Авторы не заявляют, что какая-то конкретная abliterated-модель на Hugging Face уже заражена.

Риски и подводные камни

Триггером может быть любая строка: редкая фраза, будущая дата, имя клиента, номер тикета, а множество возможных триггеров слишком велико для подбора перебором. Домен raw.githubusercontent.com доверяют в большинстве сред, поэтому одного списка разрешённых доменов недостаточно. Нагрузку можно подменить правкой одного файла по ссылке уже после развёртывания. Авторы также обещают показать утёкшие учётные данные Hugging Face сотрудников крупных ИИ-компаний, которые могли бы позволить подложить или подменить модель под доверенным именем; подробностей пока нет.

«Не берите abliterated-модель с Hugging Face и не отправляйте её в рабочую среду только потому, что бенчмарки выглядят чисто.»

— ProjectDiscovery, исследование «How abliterated models can get you pwned»