Детекторы машинного текста на русском дали разные вердикты
Исследование на arXiv касается автоматического определения машинно сгенерированного текста на русском языке. Его исходный довод: такие проверки применяют там, где вердикт стоит автору реальных последствий, а происхождение текста, свойство процесса создания, а не наблюдаемое свойство самого текста. Условия, в которых текст создан, могут сдвигать его в ту же сторону, в какую, как считается, его сдвигает генеративная модель. Работа измеряет вклад этих условий при неизменном происхождении.
Корпус состоит из 1882 документов. Машинная часть сгенерирована четырьмя каналами генерации (у каждого своё семейство моделей) на 45 заданиях в трёх режимах постановки задачи. Человеческая часть архивная, и уровень регламентированности источника в ней разметили до прочтения самих текстов. Основное сравнение сделано внутри машинной части: обе половины пары написаны одной и той же моделью на одно и то же задание и отличаются только формулировкой задания.
«Машинность» измеряли четырьмя способами: интерпретируемым индексом с весами, зафиксированными до сбора данных; обученным классификатором; метрикой без дообучения (zero-shot) на открытой модели; моделью-судьёй. Главный результат, расхождение между способами. Смена режима задания сдвинула оценки всех четырёх, но у трёх сдвиг оказался отрицательным, а у модели-судьи положительным; доверительный интервал ни одного из четырёх не включает ноль.
Авторы пишут, что план сравнения и спецификации способов 2-4 зафиксированы после результата способа 1, но до запуска способов 2-4. Расхождение сохранилось после исправления дефекта корпуса и вложенной валидации.
Ещё два наблюдения. Базовая модель, использующая только идентификатор источника, показывает медианный AUROC 1,0000 на тринадцати групповых разбиениях, где он определён. А удаление маркеров выделения перевернуло уверенный вердикт «машинный» на «человеческий», хотя полный текст не изменился ни на один символ. Вывод: оценки, свойства конкретной измерительной системы и корпуса, они отражают решения о сборе данных, повторах, форматировании и предобработке не меньше, чем языковой стиль.
Ключевые факты
- Корпус на русском языке: 1882 документа; машинная часть сгенерирована четырьмя каналами на 45 заданиях в трёх режимах, человеческая часть архивная.
- Основное сравнение внутри машинного корпуса: одна модель, одно задание, различается только формулировка задания.
- Четыре способа измерения «машинности» разошлись: три дали отрицательный сдвиг, модель-судья положительный, и ни один из четырёх интервалов не покрывает ноль.
- Базовая модель только по идентификатору источника достигает медианного AUROC 1,0000 на тринадцати групповых разбиениях, где он определён.
- Удаление маркеров выделения перевернуло уверенный машинный вердикт на человеческий при неизменном полном тексте.
Почему это важно
Детекторы машинного текста применяют там, где вердикт ударяет по автору. Исследование показывает, что даже при полностью известном происхождении (все тексты машинные) оценка зависит от условий создания: смена формулировки задания двигает оценки, причём разные способы измерения двигаются в разные стороны. Это подрывает представление о «машинности» как об устойчивом свойстве текста.
Кому это важно
Тем, кто строит или использует детекторы сгенерированного текста для русского языка: исследователям, разработчикам таких систем и организациям, принимающим решения по вердиктам детекторов. Также тем, кто оценивает методики измерения: расхождение между обученным классификатором, метрикой на открытой модели, интерпретируемым индексом и моделью-судьёй касается выбора самого инструмента.
Как это применить
Практических рекомендаций и выводов для политики в тексте аннотации не сформулировано. Из результатов следует лишь осторожность в чтении: оценки детектора относятся к конкретной измерительной системе и корпусу, а на них влияют формат, повторы и предобработка текста.
Можно ли доверять
Это препринт на arXiv, а в доступном тексте, только аннотация. В ней не названы четыре канала генерации и семейства моделей, не указаны сами размеры сдвигов и доверительные интервалы (только знаки и то, что ни один интервал не покрывает ноль), а какой именно детектор дал «уверенный машинный вердикт» при удалении маркеров выделения, не сказано. Авторы честно оговаривают порядок работы: план сравнения и спецификации способов 2-4 зафиксированы уже после результата способа 1, а расхождение сохранилось после исправления дефекта корпуса. Проверить детали можно только по полному тексту работы.
Риски и подводные камни
Выводы относятся к конкретному корпусу на русском языке и четырём конкретным способам измерения; переносить их на все детекторы или другие языки напрямую нельзя. Высокий AUROC базовой модели по одному идентификатору источника говорит, что на таких данных различимость может обеспечиваться признаками источника, а не «машинностью» как таковой, это ограничивает интерпретацию любых высоких метрик детекторов. Кроме того, три способа сдвинулись в одну сторону, а судья в другую, поэтому итог зависит от выбора способа.