Anthropic разрабатывает FlashProve: доказательство, какая нейросеть дала ответ
Anthropic работает над открытой системой, которая позволяет проверить, какая именно модель выдала конкретный ответ. Об этом сообщается в блоге компании, опубликованном во вторник; новость пересказал TechCrunch. Система называется FlashProve и рассчитана на то, что исследователи называют «доказуемым выводом» (provable inference): криптографическое доказательство, по сути математическая гарантия, что данный результат получен от определённой модели. Пользователь должен иметь возможность убедиться, что ответ пришёл от той модели, которой он, как ему кажется, пользуется.
Технику сравнивают с криптографическими подписями в электронной почте, которые позволяют получателю подтвердить подлинного отправителя. FlashProve, по описанию, должна быть устойчива к подделке: когда одна модель выдаёт себя за другую, в том числе когда самозванцем оказывается сама лаборатория, которая создала и запустила модель. Исследователи отдельно отмечают, что систему можно использовать, чтобы не позволить ИИ-компании тайно подменять модель: подставлять более дешёвую ради экономии или более дорогую, чтобы завысить результаты тестов.
Другой сценарий, проверка заявлений третьих лиц о том, что задачу решала продвинутая модель. Авторы приводят примеры: разработчик может утверждать, что его программная библиотека проверена на уязвимости передовой моделью для кибербезопасности, а компания, что её бизнес-план одобрила подходящая модель. «Как пользователь может проверить эти заявления?», спрашивают исследователи.
Для работы системы лаборатории должны публиковать «отпечаток» (fingerprint) каждой выпускаемой модели, который затем можно сопоставить с конкретными ответами и проверить криптографически. Важно, что отпечатки не раскрывают веса модели, внутренние числа, определяющие её поведение, которые закрытые разработчики вроде Anthropic и OpenAI держат в секрете. Поэтому лаборатории могут публиковать отпечатки, не отдавая самый ценный актив, и система может работать с коммерческими моделями. Она также задумана лёгкой, так что проверку можно выполнять на локальном устройстве.
Вместе с анонсом исследователи выложили подробную техническую спецификацию и рабочий код для отдельных элементов системы под открытой лицензией на GitHub. Исследования продолжаются, а планов внедрять FlashProve в Anthropic или другой лаборатории нет. В анонсе сказано, что публикация призвана поделиться промежуточными результатами, а не завершённой программой исследований, и что авторы явно хотят, чтобы другие изучили сделанное, взяли его и улучшили.
Ключевые факты
- Anthropic в блоге описала открытую систему FlashProve для «доказуемого вывода»: криптографического подтверждения, что ответ выдала конкретная модель.
- Система должна быть устойчива к подмене модели, даже если подменяет её сама лаборатория: например, тайная замена на более дешёвую модель или на более дорогую для завышения результатов.
- Лаборатории публикуют «отпечаток» каждой модели; он не раскрывает веса, поэтому подходит и для закрытых коммерческих моделей. Проверка задумана лёгкой, её можно выполнять на локальном устройстве.
- Подробная спецификация и рабочий код для отдельных элементов выложены на GitHub под открытой лицензией.
- Исследования продолжаются, внедрять систему в Anthropic или другой лаборатории пока не планируют.
Почему это важно
Сегодня пользователь API или чат-бота на слово верит, что отвечает именно та модель, которая заявлена. FlashProve пытается заменить доверие проверяемым доказательством, в том числе против самой лаборатории, которая может незаметно подставить более дешёвую модель для экономии или более дорогую для красивых тестов. Отдельный сценарий, проверка чужих заявлений вроде «этот код проверила передовая модель». Но пока это исследовательский задел, а не работающий сервис.
Кому это важно
Разработчикам и компаниям, которые покупают доступ к моделям по API и хотят убедиться, что получают оплаченное. Лабораториям, которым придётся публиковать отпечатки моделей. Тем, кто заявляет, что работа выполнена ИИ определённого класса, и тем, кто должен проверять такие заявления: например, при аудите кода или оценке бизнес-планов.
Как это применить
Прямо сейчас применять нечего: планов внедрять систему в Anthropic или другой лаборатории нет. Спецификация и код отдельных элементов лежат на GitHub под открытой лицензией, так что исследователи и разработчики могут их изучить, взять за основу и доработать, авторы прямо к этому призывают. Практической схемой проверки ответов коммерческих моделей это пока не является.
Можно ли доверять
Сведения идут из пересказа TechCrunch блога Anthropic; авторы поста в тексте по именам не названы. Из источника не видно, как устроен криптографический механизм и как строится и сопоставляется отпечаток, нет цифр по затратам и задержкам проверки. Сами исследователи называют публикацию промежуточным результатом, а не завершённой программой исследований. Отзывов других лабораторий и независимых экспертов в материале нет.
Риски и подводные камни
Система работает, только если лаборатории согласятся публиковать отпечатки своих моделей, а внедрять её, по словам источника, никто не планирует. Заявленная устойчивость к подмене и лёгкость локальной проверки пока описаны на уровне замысла: подтверждающих измерений в источнике нет. Это ранняя работа, и судить о том, выдержит ли она практическое применение, рано.
«Мы публикуем это именно с той целью, чтобы другие посмотрели на то, что мы сделали, взяли это и улучшили.»
— исследователи Anthropic, анонс в блоге