IEEE Spectrum: рецензенты пока сдерживают ИИ-мусор в науке

Колонка в IEEE Spectrum начинается с личного наблюдения: примерно половина ленты автора в соцсетях была заполнена ИИ-мусором, который внимательные пользователи легко опознают как машинный. Одни распространяют его по неведению, другие, намеренно, ради забавы или чтобы сеять путаницу. Автор вспоминает времена GPT-3, когда чат-бот уверенно выдавал правдоподобные, но ложные ответы (тогда и закрепилось слово «галлюцинация»), и отмечает: спустя шесть лет и несколько версий разных чат-ботов он по-прежнему не может доверять ответам, хотя Claude и Gemini нередко делают для него полезную работу. Вывод: «доверяй, но проверяй», причём проверять нужно обязательно.

Далее автор переносит этот принцип на научное сообщество. Фрилансер и доктор прикладной математики Бенджамин Скьюз в материале «I Used AI to Fake a Scientific Paper» («Я использовал ИИ, чтобы подделать научную статью») рассказывает, как люди-«привратники» пытаются сдержать растущий поток ИИ-мусора: он пробовал провести свои статьи, созданные нейросетью, через защиту IEEE. По словам редактора раздела материалов и ИИ-направления Элизы Стрикленд, Скьюза удивило, насколько легко получить статью, которая более-менее правдоподобна и более-менее похожа на науку. В одном из экспериментов он, по её словам, по сути нажал «запустить эксперимент» и «написать статью», ничего потом не правил и отправил результат в издательский конвейер.

Итог, по пересказу автора колонки: сочетание процедур рецензирования силами людей и программ проверки научной добросовестности пока справляется, это игра в кошки-мышки с теми, кто использует бесплатные инструменты. Но более продвинутые большие языковые модели уже не допускают тех глупых ошибок, которые делают бесплатные версии. Поэтому издатели втянуты в гонку вооружений между всё более правдоподобным мусором и системами его обнаружения.

Не только научные издатели пытаются удержать рубеж. Так же поступает и Википедия. Для рубрики «Пять вопросов» этого месяца Стрикленд побеседовала с Эллией Лебле, одной из основателей WikiProject AI Cleanup, волонтёрского проекта по выявлению и удалению сгенерированных ИИ материалов из Википедии. Команда Лебле сталкивается с той же проблемой, что и коммерческие издатели, но с меньшим числом людей и инструментов. Стрикленд говорит: Википедия известна как хранилище информации, созданной людьми, и хочет это сохранить, «кто знает, как долго у неё это получится».

Автор предупреждает: если нельзя коллективно исходить из того, что научная летопись надёжна, а базовые факты о мире верны, наше понимание реальности растворяется в неопределённости. Это, по его словам, может обрадовать разве что квантовых учёных и мошенников, процветающих там, где нет общей реальности, а в конечном счёте подрывает доверие к институтам, которые хранят корпус человеческих знаний и продвигают науку и технику на благо человечества. Либо, добавляет он, в мире, где науку делает и статьи пишет ИИ, людское доверие к результатам вообще не будет иметь значения. Стрикленд формулирует это так: не безумие ли, что в какой-то момент ИИ будет писать для других ИИ, а нас оставят за бортом.

Ключевые факты

Автор колонки IEEE Spectrum заметил, что примерно половина его ленты в соцсетях заполнена ИИ-мусором, и шесть лет спустя после эпохи GPT-3 всё ещё не может доверять ответам чат-ботов.
Фрилансер и доктор прикладной математики Бенджамин Скьюз пытался провести через защиту IEEE свои статьи, написанные нейросетью; в одном эксперименте он нажал «запустить эксперимент» и «написать статью» и ничего не правил.
По итогам Скьюза, рецензирование силами людей и программы проверки добросовестности исследований пока справляются с бесплатными инструментами.
Продвинутые большие языковые модели уже не допускают глупых ошибок бесплатных версий, поэтому издатели оказались в гонке вооружений между правдоподобным мусором и средствами его обнаружения.
Волонтёрский проект WikiProject AI Cleanup, где работает Эллия Лебле, борется с ИИ-материалами в Википедии с меньшим числом людей и инструментов, чем у коммерческих издателей.

Почему это важно

Научные журналы и энциклопедии служат опорой для проверки фактов, и если в них попадает правдоподобный машинный текст, подрывается доверие ко всему корпусу знаний. Колонка показывает, что угроза уже не гипотетическая: даже эксперимент, где нейросеть написала статью почти без правок, дал материал, который выглядит как более-менее правдоподобная наука. Пока защита IEEE держится, но автор подчёркивает, что более продвинутые модели делают меньше заметных ошибок.

Кому это важно

Редакторам и рецензентам научных журналов, организаторам конференций, исследователям, которые опираются на опубликованные работы, а также волонтёрам и редакторам Википедии. Кроме того, это касается любых читателей, которые сталкиваются с ИИ-мусором в ленте и вынуждены решать, чему верить.

Как это применить

Прямых инструкций в колонке нет. Общий принцип из текста: «доверяй, но проверяй», ответы нейросетей нужно проверять, а на уровне издателей это значит сочетать людей-рецензентов с программами проверки добросовестности исследований. Подробности эксперимента Скьюза изложены в его отдельном материале «I Used AI to Fake a Scientific Paper».

Можно ли доверять

Это редакторская колонка журнала IEEE Spectrum, то есть авторский взгляд, а не отчёт об исследовании. Автор колонки в тексте не назван. О самом эксперименте Скьюза она рассказывает со слов редактора Стрикленд и коротко: не указаны ни число поданных статей, ни использованные модели, ни были ли статьи приняты, ни показатели обнаружения. Оценку «защита IEEE пока справляется» стоит читать как общий вывод, а не как измеренный результат. Подробности нужно искать в самом материале Скьюза. Кроме того, колонку публикует издание IEEE, чьи же системы защиты и оцениваются.

Риски и подводные камни

Главный риск, о котором пишет автор, гонка вооружений: бесплатные инструменты пока ловятся, но продвинутые модели допускают меньше очевидных ошибок. У Википедии та же проблема при ещё меньших ресурсах: у команды Лебле меньше людей и инструментов, чем у коммерческих издателей. Если научной летописи нельзя доверять, понимание реальности размывается, а выигрывают те, кому выгодна неопределённость. Автор допускает и более мрачный сценарий, когда ИИ пишет для других ИИ, а люди остаются вне цикла.

«Не безумие ли, что в какой-то момент ИИ будет писать для других ИИ? Нас просто оставят за бортом.»

— Элиза Стрикленд, редактор раздела материалов и ИИ-направления, IEEE Spectrum