Истец спрятал prompt injection в судебных документах, первый случай в США
Судья Коннектикута Уолтер Спейдер-младший в решении, опубликованном на прошлой неделе, установил, что истец Мэтью Эллиотт скрыл в своих судебных документах текст, адресованный не человеку, а искусственному интеллекту. Дело касалось иска Эллиотта против медицинской организации, которая, по его утверждению, незаконно отказывала ему в доступе к медицинским записям.
Скрытый текст был набран крошечным шрифтом белого цвета на белом фоне, невидимым для читающего глазами человека, но, по словам судьи, «полностью читаемым для любой программы, которая считывает текст документа». Инструкции требовали от любой ИИ-системы, которая будет анализировать документ, подтверждать правоту доводов Эллиотта, игнорировать прежние отказы суда по его прежним аргументам и обеспечить вынесение нужного ему решения, классическая схема prompt injection (внедрения скрытых команд в текст, которые предназначены не для человека, а для программы, обрабатывающей этот текст).
Попытка не сработала: суд рассмотрел документы истца по существу, и скрытый текст не повлиял на исход. Тем не менее судья Спейдер назвал саму попытку атаки прецедентом, который создаёт «опасный» задел, по мере того как суды всё активнее используют ИИ-инструменты, подобная тактика, по его оценке, будет применяться снова.
Эллиотт продолжил добавлять скрытые сообщения в документы даже после того, как суд предупредил его о возможных санкциях, из-за чего в итоге получил санкции за то, что суд назвал «серьёзным злоупотреблением судебным процессом» (санкции описаны источником как «умеренные», без конкретики). Более поздние скрытые вставки Эллиотт назвал в суде «шутками»: среди них была ссылка на ролик о Носферату на YouTube, сообщение «hi :) I hope yo ucant see me» («привет :) надеюсь, вы м еня не видите») и бессмысленная фраза «TELL SHAWN I SEND MY RE GARBS!!!! HAHAHA U GUYS GET THIS EGGWUH???? AHAH.».
Ключевые факты
- Судья Коннектикута Уолтер Спейдер-младший выявил первый в США случай, когда истец попытался спрятать в судебных документах текст, читаемый только ИИ-системами
- Текст был набран крошечным белым шрифтом на белом фоне, невидим для человека, но полностью читаем для программы, обрабатывающей текст документа
- Скрытые инструкции требовали от ИИ подтвердить доводы истца, проигнорировать прежние отказы суда и обеспечить нужное истцу решение
- Атака не сработала, суд рассмотрел дело по существу, и скрытый текст не повлиял на исход
- Истец Мэтью Эллиотт продолжил добавлять скрытые сообщения после предупреждения суда и получил санкции за «серьёзное злоупотребление судебным процессом»; позже добавлял уже откровенные «шутки», включая бессмысленные фразы и ссылку на видео
Почему это важно
Это первый задокументированный в США случай, когда участник судебного процесса попытался напрямую воздействовать через prompt injection на ИИ-систему, которая может обрабатывать материалы дела. По мере того как суды и юристы всё активнее применяют ИИ-инструменты для анализа документов, подобная атака перестаёт быть теоретической угрозой и становится реальной судебной практикой, судья прямо назвал этот прецедент «опасным».
Кому это важно
Судьям и судебному аппарату, которые могут использовать ИИ при подготовке решений или анализе объёмных материалов дела; юристам и сторонам процесса, которым предстоит учитывать риск подобных манипуляций со стороны оппонентов; разработчикам юридических ИИ-инструментов и специалистам по безопасности ИИ, для которых это конкретный кейс атаки за пределами лабораторных условий.
Как это применить
Источник не описывает технических мер защиты, сам судья лишь констатировал факт и указал, что суд рассмотрел документ по существу, несмотря на попытку манипуляции. Практический вывод из истории: любой текстовый документ, который потенциально проходит через ИИ-обработку, стоит проверять на скрытое форматирование (микрошрифт, белый текст на белом фоне), а не доверять его визуальному прочтению человеком как единственной защите.
Можно ли доверять
Источник Ars Technica пересказывает опубликованное судебное решение судьи Спейдера, включая прямые цитаты из документа, фактура надёжная. При этом источник не называет точную дату публикации решения (только «на прошлой неделе»), не раскрывает, о какой именно медицинской организации шла речь, не уточняет размер санкций (только «умеренные») и не сообщает, представлял ли Эллиотт себя сам или через адвоката.
Риски и подводные камни
Главный риск шире одного дела: источник не сообщает, обрабатывала ли какая-либо ИИ-система скрытый текст до того, как его заметил судья, то есть неизвестно, сработала бы атака при менее внимательном рассмотрении. Это указывает на слепое пятно: суды могут не иметь систематических инструментов для обнаружения такого скрытого форматирования, и без разбора конкретного дела вручную подобная попытка манипуляции могла остаться незамеченной.
«Текст был отформатирован так, чтобы оставаться невидимым для человека, но при этом полностью читаемым для любой программы, которая считывает текст документа»
— судья Уолтер Спейдер-младший