IEEE Access поймал фальшивую научную статью, написанную нейросетями

Автор материала в IEEE Spectrum решил проверить на практике, насколько легко с помощью ИИ подделать убедительную научную статью. Контекст такой: по оценкам, к 2025 году признаки влияния больших языковых моделей были заметны в 57 процентах всех опубликованных научных статей (в 2023 году, 12 процентов). Более 12 процентов рецензий в Nature Communications в 2025 году признаны полностью сгенерированными ИИ. На каждые 40 статей со статистическими признаками использования ИИ только одна формально раскрывала это. По некоторым оценкам, ежегодно выпускаются сотни тысяч поддельных, нередко ИИ-генерированных публикаций. Аманда Сулич, менеджер IEEE по научной добросовестности, предупреждает: «Под угрозой не только научная летопись, но и наука в целом».

Эксперимент автор согласовал с Дженни Махони, managing editor (ответственным редактором) мультидисциплинарного открытого журнала IEEE Access, и с самим IEEE. Он назвал его «вайб-исследованием» по аналогии с «вайб-кодингом».

Раунд 1: ChatGPT и Gemini. Условия: только бесплатные версии (на тот момент ChatGPT на GPT-5.3/5.2 Mini и Gemini 3 Flash), без прямой правки выдачи и без помощи профессиональных специалистов по промптам. Чтобы не вызывать подозрений фальшивыми именами и не тянуть в эксперимент реальных учёных, автор указал себя единственным автором и выбрал тему своей докторской двадцатилетней давности, оптические солитоны (одиночные световые импульсы, которые распространяются без изменения формы). Первая попытка получилась жидкой: без реальных данных модели с трудом набирали даже четыре страницы. ChatGPT упорно отказывался придумывать синтетические данные и исследования, Gemini соглашался охотнее. Тогда автор разбил статью на части (аннотация, введение, методы и т. д.) и просил их по отдельности; если одна модель отказывалась, переходил к другой и спрашивал, как выглядел бы следующий шаг «гипотетически». Примерно за два десятка промптов получились текст, рисунки, подписи, список литературы и оформление под требования IEEE Access. Автору самому статья показалась убедительной; явных «ИИ-признаков» вроде «мучительных фраз» (искажённых парафраз стандартных терминов) он не увидел, а стилистические тики, оговорки, перечисления по три, шаблонные связки, свойственны и людям.

Результат: статью быстро поймали из-за галлюцинированных ссылок («призрачных цитат»). Когда автор позже прогнал текст через Gemini, тот назвал семь выдуманных ссылок. Махони проверила статью в системе STM Integrity Hub и нашла 12, а другой инструмент проверки, от MolecularConnections, не смог подтвердить 24 ссылки, среди которых была одна с классическим признаком, единственным автором «John Smith». Махони, по её словам, физик-экспериментатор по образованию и в теме не разбирается, но «ничего не казалось серьёзно неверным научно», однако множество выдуманных ссылок сразу бросило тень на всю работу. Эксперт по оптическим солитонам Гаэтано Ассанто из университета Roma Tre (Италия), бывший коллега автора, счёл текст профессионально написанным, но отметил очень плотную математику («слишком много математики для меня за один присест!»), избыток аббревиатур в аннотации и пару уверенных, но в лучшем случае спорных физических утверждений.

Раунд 2: FARS. Затем автор усилил ставки и обратился к FARS, автономной исследовательской системе, которая не только пишет статью, но и сама проводит работу. Он ввёл сокращённую версию той же темы; за 21 минуту FARS составила исследовательское предложение. Одним щелчком автор разрешил выполнить вычислительный эксперимент, на следующий день система сообщила письмом, что закончила. Не проверяя результаты, автор нажал «Write paper», и через два часа появилась статья, готовая к подаче. Он убрал из неё раскрытие использования FARS, поставил своё имя и отправил в IEEE Access. Ссылки на этот раз были настоящими, но IEEE отметил, что работа слишком сильно опирается на препринты, не прошедшие рецензирование, и тоже поймал её.

Вывод автора двойственный. С одной стороны, полный новичок с бесплатными инструментами не провёл ИИ-подделку мимо автоматических защит издателей и внимательного рецензента. С другой, это далеко не уверенная победа системы: с обычными языковыми моделями и без навыков промптинга он создал внешне правдоподобную статью по исследованию, которого не было, а продвинутые модели уже не делают тех ошибок, что бесплатные. Луиджи Лонгобарди, директор IEEE по издательской этике и поведению, признаёт: инструмент обнаружения, созданный сегодня, может не сработать против ИИ-статьи завтрашнего дня. Тогда последней линией обороны остаются рецензенты, но, по словам автора, рецензирование не приспособлено к текущему потоку работ, и настоящих, и «слопа». Система и до ИИ была на пределе: в 2022 году обработано более 3 миллионов статей, а давление «публикуйся или пропадай» давно толкает часть учёных к «бумажным фабрикам». По словам Махони, IEEE Access получает около 60 000 заявок в год, принимает около 20 процентов (около 12 000 статей); каждую принятую статью оценивают минимум двое независимых рецензентов. При этом найти рецензентов всё труднее: среднее число приглашений на одну статью выросло на 50 процентов с 2018 года. Теперь их просят ещё и выявлять ИИ-слоп.

Ключевые факты

• Автор IEEE Spectrum с согласия IEEE и редактора IEEE Access Дженни Махони попытался подать ИИ-подделку по оптическим солитонам; были две попытки, и обе были пойманы.
• Раунд 1, бесплатные ChatGPT и Gemini, около двух десятков промптов; статью поймали из-за выдуманных ссылок: Gemini назвал 7, STM Integrity Hub, 12, проверка MolecularConnections не подтвердила 24.
• Раунд 2, автономная система FARS: предложение за 21 минуту, статья через два часа после нажатия «Write paper»; ссылки настоящие, но IEEE отметил сильную опору на препринты без рецензирования.
• По оценкам, к 2025 году признаки влияния LLM были в 57 процентах опубликованных статей (12 процентов в 2023 году), но на 40 таких статей приходится лишь одно формальное раскрытие.
• IEEE Access получает около 60 000 заявок в год и принимает около 20 процентов; приглашений рецензентам на статью стало на 50 процентов больше, чем в 2018 году.

Почему это важно

Эксперимент превращает общие цифры об «ИИ-слопе» в проверяемый случай: можно увидеть, как именно собирается убедительная фальшивая статья и на чём она ломается. Новичок с бесплатными чат-ботами получил внешне правдоподобную работу примерно за два десятка промптов, а автономная система FARS выдала готовую к подаче статью за два часа после нажатия кнопки. Защиты издателей пока срабатывают, но автор подчёркивает, что это не победа: более продвинутые модели не делают ошибок бесплатных, а Лонгобарди из IEEE допускает, что сегодняшний детектор может не справиться с завтрашними статьями.

Кому это важно

Редакторам журналов и специалистам по научной добросовестности, как пример рабочих проверок (поиск выдуманных ссылок, оценка опоры на препринты). Рецензентам-волонтёрам, они остаются последней линией обороны, а нагрузка на них растёт: приглашений на статью стало на 50 процентов больше, чем в 2018 году. Учёным и читателям литературы, из-за масштаба: по оценкам, признаки влияния LLM есть в 57 процентах опубликованных статей. Разработчикам ИИ-инструментов для науки, как иллюстрация того, что автоматизация исследований упирается в проверку.

Как это применить

Прямых инструкций материал не даёт, но из эксперимента видны конкретные сигналы. Подозрение должны вызывать ссылки, которые не находятся в базах (в одной был единственный автор «John Smith»), а при реальных ссылках, чрезмерная опора на препринты без рецензирования. Для проверки ссылок упомянуты сервис STM Integrity Hub и инструмент MolecularConnections; сам автор прогонял текст и через Gemini, но тот нашёл лишь 7 выдуманных ссылок против 12 и 24 у специализированных проверок. Другие признаки из текста, избыток аббревиатур в аннотации, уверенные, но спорные физические утверждения и очень плотная математика, которую нужно оценивать специалисту.

Можно ли доверять

Материал опубликован в IEEE Spectrum, а эксперимент проводился при участии самого IEEE, который согласился на «военную игру», это нужно учитывать как возможную заинтересованность издателя. Это описание одного случая от первого лица с одной темой и одним автором, а не систематическое исследование; результат нельзя обобщать на всех издателей и все модели. Цифры о доле ИИ-статей (57 процентов, 12 процентов, «сотни тысяч» подделок) приведены как оценки или со ссылкой на «некоторые оценки»; сам автор оговаривается, что следы ИИ не всегда означают слоп. Доступный текст оригинала обрывается на середине статьи, поэтому финальные выводы и рекомендации издателям здесь не пересказаны. Автор материала в доступном тексте по имени не указан.

Риски и подводные камни

Автор честно ограничил себя бесплатными моделями и самостоятельной работой, поэтому исход для более сильных платных систем и опытного пользователя мог быть иным. Во втором раунде он не проверял результаты FARS перед написанием статьи, а ссылки у неё были настоящие, ловушка сработала лишь на опору на препринты, то есть на более тонкий признак, который не доказывает недобросовестность. Детекторы отстают от генерации, а ставка на рецензентов упирается в нехватку времени у добровольцев и растущий поток статей (около 60 000 заявок в год только в IEEE Access). Отдельный риск: ИИ-текст выглядит профессионально, и даже специалист по смежной области (Махони, физик-экспериментатор, не по теме статьи) может не увидеть в нём серьёзных научных ошибок.

«Похоже, что инструмент обнаружения, созданный сегодня, может оказаться неэффективным против сгенерированной ИИ статьи завтрашнего дня.»

— Луиджи Лонгобарди, директор IEEE по издательской этике и поведению