RA-Bench: детекторы дипфейков не справляются с видео катастроф

Исследователи представили RA-Bench, бенчмарк для проверки детекторов ИИ-сгенерированного видео на материалах о реальных кризисах: войнах, стихийных бедствиях и других чрезвычайных происшествиях. Такие видео уже сейчас можно правдоподобно сфабриковать современными видеогенераторами, и это создаёт риск массовой дезинформации именно в тот момент, когда люди больше всего доверяют кадрам с места события. По утверждению авторов, прежние бенчмарки почти не показывали, как ведут себя детекторы и генераторы именно в такой обстановке: как меняется различимость подделки в зависимости от условий генерации, как её воспринимают живые зрители и остаются ли детекторы надёжными, когда видео расходится по соцсетям.

RA-Bench построен на принципе «реальное видео как якорь»: в него вошли 17 886 видео, из них 1830 реальных роликов-якорей, охватывающих 10 категорий социального риска, и 16 056 сгенерированных клипов от девяти генераторов, четырёх с открытым кодом и пяти закрытых.

На этом материале авторы проверили детекторы по трём направлениям. Во-первых, обобщаемость: протестированы семь традиционных детекторов, десять мультимодальных моделей в режиме zero-shot (при трёх разных настройках проверки) и две MLLM-модели, дообученные специально под распознавание ИИ-видео. Результат: ни одно из этих трёх семейств методов не показывает стабильной обобщаемости по всему набору RA-Bench. Во-вторых, зависимость от условий генерации: качество генерации, входные условия и случайное зерно сэмплирования по-разному влияют на разные семейства детекторов, при этом паттерны распознавания на уровне конкретного генератора остаются устойчивыми независимо от зерна. В-третьих, человеческое восприятие и устойчивость к распространению: видео, которые вводят в заблуждение живых зрителей, оказываются трудными и для детекторов, а сам процесс распространения в соцсетях (пересжатие, репосты и так далее) дополнительно затрудняет обнаружение подделки.

Вывод авторов: существующие методы детекции плохо справляются с реалистичными ИИ-видео о кризисных событиях, и индустрии нужны детекторы, устойчивые к постоянно развивающимся видеогенераторам. В доступном тексте никакого нового метода защиты или конкретных названий протестированных детекторов, генераторов и моделей не приводится, это именно оценочный бенчмарк, а не готовое решение; численные показатели точности по отдельным детекторам и моделям в тексте тоже не названы.

Ключевые факты

RA-Bench: 17 886 видео, 1830 реальных роликов-якорей по 10 категориям социального риска и 16 056 сгенерированных клипов от 9 генераторов (4 с открытым кодом, 5 закрытых)
Проверены три семейства методов: 7 традиционных детекторов, 10 мультимодальных моделей zero-shot (в трёх режимах проверки) и 2 MLLM, дообученные под детекцию ИИ-видео, ни одно семейство не показало стабильной обобщаемости
Качество генерации, входные условия и зерно сэмплирования по-разному влияют на разные детекторы, но паттерны распознавания на уровне источника устойчивы к смене зерна
Видео, которые обманывают людей, одновременно сложны и для детекторов, а распространение в соцсетях дополнительно снижает надёжность обнаружения
Работа только оценивает существующие детекторы и не предлагает нового метода защиты; конкретные названия протестированных систем и числовые показатели точности в тексте не раскрыты

Почему это важно

Современные видеогенераторы способны правдоподобно подделать кадры войн, стихийных бедствий и других ЧП, то есть ровно те материалы, которым люди склонны верить без проверки в момент кризиса. До RA-Bench не было систематической проверки того, как ведут себя детекторы и генераторы именно в такой обстановке: насколько подделку легко распознать в зависимости от условий генерации, как её воспринимают живые люди и держится ли надёжность детекции, когда видео уже разошлось по соцсетям.

Кому это важно

Разработчикам инструментов проверки подлинности видео и модераторам платформ, как ориентир, что текущие детекторы ненадёжны именно там, где цена ошибки выше всего. Журналистам и фактчекерам, которые в кризисной ситуации первыми оценивают подлинность вирусных кадров. Исследователям, работающим над детекцией дипфейков, RA-Bench даёт общий набор данных и протокол оценки для сравнения методов.

Как это применить

RA-Bench, не готовый продукт и не сервис, а исследовательский бенчмарк: набор из 17 886 видео и протокол оценки по трём осям (обобщаемость, зависимость от условий генерации, устойчивость при распространении). Команды, разрабатывающие детекторы ИИ-видео, могут использовать его как единую проверочную площадку, именно для того, чтобы не полагаться на результаты, полученные на «удобных» наборах данных, которые не отражают реальные кризисные сценарии.

Можно ли доверять

Источник, препринт с описанием методологии на уровне аннотации: указан объём бенчмарка, число и состав детекторов и генераторов, три направления анализа. В доступном тексте не названы авторы, организации и конкретные модели детекторов/генераторов, а также отсутствуют числовые показатели точности по отдельным методам, судить о масштабе разрыва в качестве детекции можно только на уровне общих выводов, которые формулируют сами исследователи.

Риски и подводные камни

Работа только фиксирует проблему: она показывает, что три основных семейства детекторов не обобщаются надёжно, но не предлагает готового метода защиты. Из текста не видно, тестировались ли на RA-Bench детекторы, которые уже используются платформами и фактчекерами на практике, конкретные названия систем не раскрыты. Отдельный тревожный момент: обнаружение становится ещё труднее именно тогда, когда видео уже разошлось по соцсетям, то есть ровно в тот момент, когда дезинформация наносит наибольший вред.