Главный ИИ-учёный Tencent предупредил о биооружии от нейросетей

Главный ИИ-учёный Tencent Vinces Yao Shunyu, ранее работавший в OpenAI, предупреждает: ИИ в обозримом будущем сможет разрабатывать биооружие, а ни полностью открытые, ни полностью закрытые модели эту проблему сами по себе не решают. Об этом The Decoder пишет со ссылкой на South China Morning Post; прямых цитат Яо в материале нет, его взгляды даны в пересказе.
Яо выступает за золотую середину в споре об открытых и закрытых моделях. Сочетание открытого и закрытого кода позволяет всем использовать технологию и для защиты. Однако в биологии наступательные и защитные возможности разделить труднее, чем в кибербезопасности. Поскольку разрыв между китайскими и американскими моделями невелик, Яо призывает всю отрасль действовать осторожно. Он признаёт, что Anthropic и другие американские компании приводят сильные доводы в пользу закрытых моделей, но видит и явные преимущества открытых.
В качестве примера Яо приводит взлом в Hugging Face: когда закрытые американские модели вроде Claude от Anthropic отказались анализировать команды атаки из-за встроенных фильтров безопасности, платформа разобрала логи с помощью открытой китайской модели GLM-5.2. The Decoder уточняет, что отчёт Hugging Face подтверждает пример, но показывает и его пределы: GLM-5.2 использовали только при криминалистическом анализе, а саму атаку остановили, закрыв использованную уязвимость, пересобрав затронутые серверы и сменив учётные данные. Hugging Face подчеркнула, что этот случай не довод против фильтров безопасности на размещаемых моделях.
Позиция Anthropic противоположна. В июле она была единственной крупной ИИ-лабораторией, не подписавшей письмо при поддержке Nvidia с предостережением против преждевременных ограничений на открытые модели. Глава компании Дарио Амодеи (Dario Amodei) оспаривает тезис о том, что открытые модели больше помогают защитникам, чем атакующим: по его мнению, они потенциально опаснее, потому что защитные механизмы трудно обеспечить, а опубликованные веса нельзя забрать обратно. Полного запрета открытых моделей Anthropic при этом не требует.
The Decoder показывает хрупкость фильтров в открытых моделях на примере абляции (abliteration): любой, у кого есть веса модели, может с её помощью точечно убрать обученное поведение отказа. Тысячи таких изменённых вариантов лежат на Hugging Face, а американский стартап Abliteration.ai продаёт доступ к версии GLM-5.3 без фильтров. По текущим исследованиям, существующие меры противодействия затрудняют такие правки, но не предотвращают их; надёжнее с самого начала не пускать опасные знания в модель при обучении.
Проблему признают и в Китае: орган по стандартам TC260 предупреждает, что защитные механизмы в открытых моделях можно убрать или обойти, и готовит собственный стандарт безопасности для открытого ИИ. Проект рамок экспортного контроля охватывает особо крупные модели, но не касается уже опубликованных открытых. Ни Китай, ни США не установили обязательного порога, выше которого открытые модели нельзя публиковать.
Закрытая сторона тоже даёт сбои. Anthropic и OpenAI передают самые мощные модели для кибербезопасности только проверенным партнёрам, в программах вроде Project Glasswing и Daybreak. Начиная с Claude Fable 5 фильтры Claude перенаправляют подозрительные запросы по кибербезопасности и биологии на более слабую модель Opus 4.8. По данным Artificial Analysis, сначала это затронуло восемь-девять процентов задач, а пользователи сообщали, что даже анализ МРТ-снимков помечался как биотерроризм. Anthropic признала, что фильтры были слишком агрессивными.
Tencent планирует в ближайшие дни выпустить новую модель Hy4 с открытыми весами и отчётом о безопасности. Компания утверждает, что биологические возможности Hy4 ниже порога высокого риска. Хакерские навыки модели в Tencent убрали фильтрацией обучающих данных, и, по словам исследователей, такой подход выдерживает и абляцию.
Ключевые факты
- Главный ИИ-учёный Tencent Винс Яо Шуньюй (Vinces Yao Shunyu), ранее работавший в OpenAI, по пересказу SCMP считает, что ИИ скоро сможет разрабатывать биооружие, и предлагает золотую середину между открытыми и закрытыми моделями.
- Его пример: при взломе Hugging Face закрытые модели вроде Claude отказались анализировать команды атаки, и логи разобрали открытой GLM-5.2. Но, по отчёту Hugging Face, модель применяли только при расследовании, а атаку остановили патчем, пересборкой серверов и сменой учётных данных.
- Абляция позволяет убрать отказы модели при наличии весов: на Hugging Face лежат тысячи таких вариантов; надёжнее убирать опасные знания из обучающих данных.
- Закрытые модели тоже перестраховываются: фильтры Claude со времён Fable 5 направляют часть запросов на Opus 4.8, сначала это затронуло восемь-девять процентов задач (Artificial Analysis).
- Tencent в ближайшие дни планирует выпустить Hy4 с открытыми весами и отчётом о безопасности; по заявлению компании, биологические возможности модели ниже порога высокого риска.
Почему это важно
Руководитель ИИ-направления одной из крупнейших китайских компаний публично говорит о риске биооружия и при этом не требует ни закрыть модели, ни открыть их полностью. Это сдвигает спор об открытых и закрытых моделях с вопроса «кто прав» к вопросу, как совмещать оба подхода. Примечательно, что в биологии, по логике Яо, защиту и нападение разделить сложнее, чем в кибербезопасности, а значит, привычные аргументы про пользу открытости для защитников здесь работают хуже.
Кому это важно
Разработчикам и компаниям, выбирающим между открытыми и закрытыми моделями; командам безопасности, которые разбирают инциденты и сталкиваются с отказами моделей; тем, кто следит за регулированием открытого ИИ в Китае и США; исследователям защиты моделей от абляции.
Как это применить
Прямых инструкций в материале нет, но он подсказывает практические выводы. Если закрытая модель отказывается анализировать логи атаки, как в случае с Hugging Face, под рукой нужен запасной вариант, например открытая модель. При этом GLM-5.2 была лишь одним из инструментов расследования, а сама атака остановлена обычными мерами: патчем, пересборкой серверов и сменой учётных данных. Для самих разработчиков открытых моделей пример Tencent: убирать опасные возможности на этапе обучения через фильтрацию данных, а не полагаться на отказы модели.
Можно ли доверять
Позиция Яо дана в пересказе The Decoder со ссылкой на South China Morning Post; прямых цитат нет, поэтому оттенки его слов могут быть утрачены. Пример с Hugging Face сверен с отчётом самой платформы, и там же указаны его пределы. Сведения о Hy4 (низкий биологический риск, фильтрация данных), заявления Tencent, а утверждение об устойчивости такого подхода к абляции, слова исследователей, без подробностей в материале. Цифра про восемь-девять процентов задач приведена по Artificial Analysis. Это обзорный материал с позициями сторон, а не новое исследование.
Риски и подводные камни
Сроки, когда ИИ сможет разрабатывать биооружие, в материале не названы, только «скоро». Абляция уже сегодня убирает отказы у моделей с открытыми весами, а существующие меры защиты лишь затрудняют её. С другой стороны, закрытые модели ошибаются в обратную сторону: избыточные фильтры Claude помечали даже анализ МРТ как биотерроризм, и Anthropic признала их излишнюю агрессивность. Единых обязательных порогов, выше которых открытые модели нельзя публиковать, нет ни в Китае, ни в США. Нельзя также считать пример Hugging Face доводом против фильтров безопасности: сама платформа это подчеркнула.