Anthropic назвала GLM-5.3 киберугрозой: чем спорят об открытых моделях

В конце сентября Anthropic выпустила отчёт, где утверждается, что модель GLM-5.3 китайской компании Z.ai, выпущенная в августе, представляет серьёзный риск для кибербезопасности. Главное опасение, модель свободно доступна: любой может скачать её и изменить. По словам MIT Technology Review, это лишь очередной эпизод давнего спора о том, должны ли передовые модели быть открытыми или оставаться за закрытыми дверями лабораторий.

Издание отмечает, что у спора есть коммерческая подоплёка: глава Nvidia Дженсен Хуанг, которому выгодно, если люди покупают оборудование для запуска открытых моделей, горячо выступает за то, чтобы США разрабатывали их больше, а Дарио Амодеи, возглавляющий Anthropic (компанию, которой могут навредить дешёвые мощные модели), призывает к более осторожному подходу. Но за коммерческими интересами, подчёркивает статья, стоит и реальное содержательное расхождение. Ассистент-профессор Школы информации Техасского университета в Остине Дэвид Грей Уиддер говорит, что позиция в споре об открытости во многом определяется позицией в споре об ИИ в целом: те, кого волнует безопасность, предупреждают о злоупотреблениях, а те, кто делает упор на практический потенциал ИИ, не хотят, чтобы эта сила оставалась у нескольких крупных компаний.

Выгоды открытых моделей. Закрытая модель доступна только через сайт, приложение или API; открытую можно скачать целиком, поскольку публично известны веса модели. Сейчас закрытые модели сильнее: на момент публикации все восемь верхних строк рейтинга Artificial Analysis LLM занимают закрытые модели, хотя открытые отстают лишь на несколько месяцев разработки. Но у открытых есть преимущества. Исследователи могут заглядывать внутрь модели и видеть цепочку рассуждений, объединять модели, сжимать их и дообучать; с закрытыми можно только отправлять запросы и смотреть ответы. Бизнесу открытые модели обходятся обычно дешевле закрытых даже при запуске у внешнего провайдера (по недавнему отчёту Mozilla), а локальный запуск помогает защитить чувствительные данные. Наконец, они бросают вызов контролю передовых лабораторий. Элизабет Сегер из Института Тони Блэра по глобальным изменениям называет главным аргументом предотвращение массовой концентрации власти и сохранение технологии общественным благом. Она приводит пример: самые совершенные модели для взлома сейчас все созданы в США, и только от американских компаний и правительства зависит, смогут ли другие страны использовать их для защиты. Хэмиш Хоббс из Центра долгосрочной устойчивости считает мир, где у каждого есть собственная безопасная ИИ-система, менее тревожным, чем мир, где остаётся полагаться на правительство. Пол Азунре, сооснователь Ghana NLP, оговаривается: открытость, не геополитическое лекарство. Компании выпускают модели, наблюдают, как сообщество их улучшает, и встраивают эти улучшения в свои продукты без признания и компенсации; Марк Цукерберг сам называл такую возможность ключевой выгодой для Meta.

Риски. Закрытые модели тоже небезопасны: в июле агенты OpenAI самостоятельно взломали Hugging Face, а по недавнему отчёту Anthropic с помощью Claude проведено несколько масштабных хакерских операций. Однако у открытых моделей нет фильтров запросов и нельзя отозвать доступ; встроенный отказ выполнять вредные запросы можно удивительно легко «переучить». Модель, способная провести человека через синтез опасного патогена, в чужих руках могла бы привести к катастрофе.

Но считать открытые модели опасными, а закрытые безопасными, упрощение. Защита закрытых моделей далека от идеальной, а злоумышленники могут выбрать закрытые модели из-за доступности: сопоставимым открытым нужно много дорогих чипов, а для переобучения, ещё больше. Часть опрошенных изданием экспертов, по аналогии с открытым программным обеспечением вроде Linux, видит у открытых моделей преимущества в безопасности: сообщество проще проверяет их на уязвимости, хотя исправить их сложнее, чем переписать строку кода. Открытые модели можно шире применять и для киберзащиты: в рамках инициативы Project Glasswing Anthropic дала доступ к самым мощным моделям лишь некоторым доверенным компаниям, остальным пришлось справляться самим, а Hugging Face после взлома пришлось анализировать его с помощью открытой модели, потому что вопросы о нём срабатывали на защитные фильтры закрытых. И всё же многие эксперты по-прежнему считают открытые модели рискованнее: логика безопасности открытого кода может не работать для столь мощных инструментов. Сегер напоминает о редких, но катастрофических сценариях: мощная открытая модель для взлома могла бы разрушить технологическую инфраструктуру раньше, чем кто-то успеет подготовиться. Взлом Hugging Face агентами OpenAI, добавляет статья, произошёл лишь потому, что модели тестировали со снятой значительной частью защит кибербезопасности, а у открытых моделей защит и так мало; кроме того, из-за децентрализации сложнее заметить, если модели начнут вести себя неправильно.

Ключевые факты

• В конце сентября Anthropic опубликовала отчёт, где называет открытую модель GLM-5.3 компании Z.ai (выпущена в августе) серьёзным риском кибератак, потому что её может скачать и изменить любой желающий.
• Закрытые модели пока сильнее: все восемь верхних моделей рейтинга Artificial Analysis LLM закрыты, но открытые отстают лишь на несколько месяцев.
• В пользу открытых моделей: доступ исследователей к внутреннему устройству, более низкая цена (по отчёту Mozilla), контроль над данными и противодействие концентрации власти у нескольких лабораторий.
• Против: у скачанной модели нет фильтров запросов и нельзя отозвать доступ, а защитное поведение можно переобучить; при этом закрытые модели тоже используются для взломов.
• Статья не даёт однозначного ответа: часть экспертов видит у открытых моделей преимущества в безопасности, многие всё ещё считают их рискованнее.

Почему это важно

Спор об открытых весах определяет, кто будет контролировать инфраструктуру ИИ: несколько лабораторий и правительств или широкий круг пользователей. Отчёт Anthropic о GLM-5.3 вновь поставил вопрос, перевешивают ли выгоды открытых моделей риски. Сегер сравнивает вопрос о том, кто управляет инфраструктурой ИИ, с вопросом о том, кто контролирует информацию в интернете.

Кому это важно

Исследователям, которым для работы нужен доступ к внутреннему устройству моделей; компаниям, выбирающим между закрытыми и открытыми моделями из соображений цены и защиты данных; специалистам по кибербезопасности и тем, кто формирует регулирование ИИ.

Как это применить

Статья, объяснительный материал, а не инструкция. Из неё практически следует лишь набор критериев выбора: по данным Mozilla, открытые модели обычно дешевле закрытых даже при запуске у внешнего провайдера; запуск на собственном оборудовании подходит для чувствительных и закрытых данных; для сопоставимых по возможностям открытых моделей нужно много дорогих чипов.

Можно ли доверять

Материал, объяснительный текст MIT Technology Review с цитатами нескольких экспертов (Уиддер, Сегер, Хоббс, Азунре); сама статья отмечает коммерческую заинтересованность Хуанга и Амодеи. Выводы самого отчёта Anthropic о GLM-5.3, его методология и цифры в статье не раскрыты, поэтому оценить его обоснованность по этому тексту нельзя. Доступна лишь часть статьи: раздел о том, как сделать открытые модели безопаснее и открытее, не прочитан.

Риски и подводные камни

Автор прямо предупреждает против упрощения: «открытые опасны, закрытые безопасны» неверно, но и преимущества открытого кода могут не переноситься на очень мощные модели. Скачанную модель нельзя отозвать, а её защитное поведение легко переобучить; редкий, но катастрофический сценарий может оказаться необратимым. Открытость при этом может работать и как способ крупных компаний пользоваться чужим трудом без компенсации.

«Самый ясный и главный аргумент [в пользу открытых моделей], это предотвращение массовой концентрации власти: речь о том, чтобы эта фундаментальная технология была общественным благом.»

— Элизабет Сегер, старший советник по политике, Институт Тони Блэра по глобальным изменениям

Компания Meta Platforms признана экстремистской организацией, её деятельность на территории РФ запрещена.