ИИ-чат-бот выдумал ядерный груз на китайском судне, США чуть не устроили перехват
По данным CNN, которые пересказывает Ars Technica, аналитик Командования специальных операций США (SOCOM) использовал ИИ-чат-бота для анализа разведывательных данных о грузовом манифесте китайского судна. Чат-бот объединил сведения из открытых источников с секретной сигнальной разведкой из государственных хранилищ и на этой основе составил разведывательный отчёт, который CNN называет «полностью ложным»: в нём утверждалось, что судно перевозит через Ближний Восток компоненты для программы создания ядерного оружия.
На основании этого отчёта американские военные готовили перехват и досмотр судна с привлечением авиационной поддержки. Операцию остановили только после того, как должностные лица выяснили, что чат-бот неверно определил груз на борту. Один из источников CNN заявил, что инцидент «чуть не начал войну». Сама CNN ссылается на четырёх источников, знакомых с ситуацией. При этом в тексте не раскрываются ни имя аналитика, ни название использованного чат-бота, ни точная дата инцидента; не говорится и о том, состоялся ли фактический перехват, только что военные к нему готовились.
Ars Technica вписывает случай в более широкий контекст: слово «hallucinating» (галлюцинировать) стало словом года по версии Cambridge Dictionary в 2023 году, и до этого инцидента на ложных ответах чат-ботов уже попадались писатели-документалисты, журналисты, учёные, судьи, врачи, полицейские ведомства и корпоративные call-центры. Часть исследователей считает, что полностью исключить галлюцинации у языковых моделей может быть невозможно в принципе.
Издание также напоминает, что в январе Министерство обороны США представило «стратегию ускорения ИИ», нацеленную на то, чтобы сделать все подходящие данные доступными для использования ИИ через федеративные ИТ-системы, включая боевые системы всех родов войск и подразделений.
Ключевые факты
- Аналитик Командования специальных операций США (SOCOM) использовал ИИ-чат-бота для анализа разведданных о грузе китайского судна.
- Чат-бот объединил данные из открытых источников с секретной сигнальной разведкой и выдал «полностью ложный» отчёт о ядерных компонентах на борту, которые судно якобы везло через Ближний Восток.
- Военные США готовили перехват и досмотр судна с воздушной поддержкой; операцию остановили только после того, как обнаружили ошибку чат-бота.
- По словам источника CNN, инцидент «чуть не начал войну»; сама CNN ссылается на четырёх источников, знакомых с ситуацией. Имя аналитика, модель чат-бота, дата инцидента и факт реального перехвата в источнике не названы.
- В январе Минобороны США запустило «стратегию ускорения ИИ», расширение доступа ИИ-систем ко всем подходящим данным через федеративные ИТ-системы, включая боевые.
Почему это важно
Это редкий и предельно наглядный пример того, как ИИ-галлюцинация из абстрактной ошибки чат-бота превращается в военное решение с реальным риском боевого столкновения. До этого случая жертвами ложных ответов ИИ становились писатели, журналисты, учёные, судьи и врачи, репутационный или юридический ущерб, но не риск открытого конфликта между государствами.
Кому это важно
Военным и разведывательным ведомствам, использующим ИИ для анализа разведданных; специалистам по безопасности ИИ, изучающим последствия галлюцинаций в критических системах; регуляторам и разработчикам политики применения ИИ в госсекторе.
Как это применить
Для организаций, встраивающих генеративный ИИ в процессы с высокими ставками, военные, разведывательные, медицинские, вывод простой: чат-бот нельзя использовать как единственный источник для критического решения без независимой проверки человеком, особенно там, где ошибка необратима.
Можно ли доверять
Материал, пересказ Ars Technica отчёта CNN, который опирается на четырёх анонимных источников, знакомых с ситуацией. Имя аналитика, название использованного чат-бота, точная дата инцидента и подтверждение того, состоялся ли фактический перехват, в тексте не раскрываются, проверить эти детали со стороны читателя нельзя, доверие держится на репутации CNN и её источников.
Риски и подводные камни
Основной риск уже реализовался: ложный вывод ИИ едва не спровоцировал военное столкновение. За рамками этого случая остаётся системный риск, Минобороны США тем временем расширяет доступ ИИ-систем к данным через собственную «стратегию ускорения ИИ», а часть исследователей считает, что полностью устранить галлюцинации у языковых моделей может быть невозможно.
«Инцидент чуть не начал войну»
— неназванный источник, по данным CNN