Мультиагентная система из открытых моделей обошла GPT и Gemini в распознавании дипфейков

Команда исследователей во главе с Сюэчао Цзоу представила FaceVid-Forensics-100K, датасет из 100 000 видео с дипфейками, охватывающий 33 метода синтеза: замену лица, перенос мимики (реэнактмент) и полный синтез лица, включая недавние генераторы вроде Seedance 2.0. Авторы отмечают, что существующие бенчмарки дипфейк-видео слабо покрывают новые методы синтеза и обычно не имеют надёжной детальной текстовой разметки. Разметка для нового датасета, подробные текстовые описания визуальных признаков подделки и согласованные с вердиктом объяснения, сгенерирована автоматически: конвейер сводит вместе оценки нескольких моделей и разрешает противоречия между ними с помощью продвинутых мультимодальных языковых моделей (MLLM).

На основе датасета авторы построили мультиагентную систему рассуждений для детекции подделок. Четыре специализированных агента-эксперта независимо анализируют видео с четырёх сторон, текстуру, освещение, движение и физику, а агент-судья сводит их отчёты в итоговый вердикт с объяснением. По словам авторов, обычные детекторы и мультимодальные языковые модели, работающие как единая модель или с одной точки зрения, часто упускают тонкие следы подделки, что ограничивает их способность распознавать новые методы генерации.

На тестах вне домена (out-of-domain) система, целиком состоящая из небольших открытых MLLM, обошла все сравниваемые методы, включая закрытые модели GPT и Gemini, и заняла первое место по всем отчитанным метрикам бенчмарка. Конкретные значения точности или других метрик, а также версии сравниваемых моделей GPT и Gemini в тексте источника не приводятся.

Ключевые факты

Новый датасет FaceVid-Forensics-100K: 100 000 видео, 33 метода синтеза дипфейков (замена лица, перенос мимики, полный синтез лица), включая генератор Seedance 2.0.
Текстовая разметка датасета создана автоматически: конвейер сводит оценки нескольких моделей и разрешает противоречия между ними с помощью продвинутых MLLM.
Мультиагентная система: четыре агента-эксперта анализируют текстуру, освещение, движение и физику видео, агент-судья выносит итоговый вердикт с объяснением.
На тестах вне домена система на малых открытых моделях обошла закрытые GPT и Gemini и заняла первое место по всем метрикам бенчмарка.
Конкретные цифры точности и версии сравниваемых GPT и Gemini в источнике не названы.

Почему это важно

Генеративные модели делают дипфейк-видео всё реалистичнее, а старые бенчмарки для их обнаружения слабо покрывают новые методы синтеза и почти не дают детальной разметки того, что именно выдаёт подделку. Обычные детекторы и мультимодальные модели, оценивающие видео как единое целое или с одной точки зрения, по данным авторов, часто пропускают тонкие следы подделки, отсюда идея разложить анализ на несколько независимых экспертных ракурсов и свести их мнения через отдельного агента-судью.

Кому это важно

Результат адресован тем, кто строит или использует системы обнаружения дипфейков и модерации видео: исследователям в области ИИ-безопасности, командам, отвечающим за проверку подлинности контента на платформах, и разработчикам мультиагентных систем, которым интересен сам подход, разбить анализ на специализированные роли с агентом-судьёй, сводящим их выводы.

Как это применить

У проекта есть отдельная страница, упомянутая в источнике, но в тексте не сказано, выложены ли датасет и код в открытый доступ и на каких условиях. Практическая ценность, сама архитектура: разбить детекцию дипфейков на несколько независимых экспертных ракурсов (текстура, освещение, движение, физика) и свести их через агента-судью, эту схему можно использовать как шаблон при построении собственных систем проверки видео на подлинность.

Можно ли доверять

Заявление о превосходстве над GPT и Gemini исходит от самих авторов работы и получено на тестах вне домена на их же бенчмарке; конкретные значения метрик и версии сравниваемых моделей GPT и Gemini в источнике не названы, что не даёт независимо оценить масштаб отрыва. О независимом воспроизведении результатов или внешней экспертизе в тексте ничего не говорится.

Риски и подводные камни

Датасет и разметка получены конвейером из нескольких MLLM, которые автоматически разрешают противоречия между собой, качество такой разметки не проверено сторонними экспертами, судя по тексту. Превосходство над закрытыми моделями на собственном бенчмарке, обычная для подобных работ ситуация, которая не гарантирует такого же отрыва на независимых данных или в реальных сценариях модерации.