Paper Pilot: система обнулила выдуманные ссылки ИИ в тесте

Языковые модели всё чаще встраивают в научную работу, для анализа литературы, написания черновиков и рецензирования. Авторы статьи указывают на проблему: существующие системы продвигают автономное открытие и генерацию рукописей, но не решают вопрос управляемости, идеи, методы, результаты и утверждения проходят через ИИ-конвейер без обязательного одобрения человеком и без прослеживаемости на уровне артефактов.

В ответ предложена Paper Pilot, экспертная система «человек в цикле» для прослеживаемой по доказательствам генерации научных рукописей в прикладных науках. Она адаптирует методологию CARE (Collaborative Agent Reasoning Engineering, совместное агентное рассуждение) к разработке рукописи: вводит контрольные точки одобрения владельцем рукописи, явные критерии отказа, классификацию утверждений, журналирование действий, консультативную проверку языковой моделью и контроль версий с фиксацией доказательств. Фреймворк определяет восемь контрольных точек одобрения на всём пути от идеи до утверждения и разделяет утверждения, обоснованные литературой, и утверждения, обоснованные артефактами (данными, результатами): заявленные числа и интерпретации обязаны оставаться прослеживаемыми к одобренным доказательствам. Системный промпт Paper Pilot опубликован в открытом доступе для развёртывания в ChatGPT, Gemini, Claude или во внутренних средах организаций на базе языковых моделей.

В качестве первой эмпирической проверки авторы протестировали слой обоснования цитат на контролируемом, механически оцениваемом бенчмарке: две коммерческие языковые модели, реальные статьи с arXiv, без привлечения языковой модели в роли судьи. Под давлением необходимости набрать нужный объём ссылок модели без ограничений (ungated drafters) выдумывали до 25% цитат и ни разу не пометили пробел в доказательствах. Те же модели под правилами Paper Pilot с фиксацией доказательств (evidence-locked) не выдумали ни одной цитаты и явно обозначили заложенные в тест пробелы как плейсхолдеры. Предварительные результаты по обоснованию результатов, ревизии текста и устойчивости к состязательным воздействиям указывают в ту же сторону, но полная оценка этих направлений оставлена для будущей работы. Авторы позиционируют Paper Pilot как управляемый процесс поддержки решений «человек плюс ИИ» при написании текста с помощью языковых моделей, а не как полностью автономный конвейер авторства.

Ключевые факты

Paper Pilot, экспертная система «человек в цикле» для прослеживаемой по доказательствам генерации научных рукописей, адаптирующая методологию CARE
Фреймворк вводит восемь контрольных точек одобрения на пути от идеи до утверждения и разделяет утверждения, обоснованные литературой и обоснованные артефактами
В контролируемом бенчмарке (две коммерческие языковые модели, реальные статьи с arXiv, без ИИ-судьи) модели без ограничений выдумывали до 25% цитат под давлением набрать объём
Те же модели под правилами Paper Pilot с фиксацией доказательств не выдумали ни одной цитаты и явно пометили заложенные пробелы
Системный промпт опубликован в открытом доступе для ChatGPT, Gemini, Claude и внутренних сред организаций; результаты по ревизии и устойчивости к атакам пока предварительные

Почему это важно

Языковые модели всё активнее участвуют в написании научных текстов, но без контроля они способны выдумывать источники, это подрывает доверие ко всему конвейеру научной публикации. Paper Pilot предлагает не отказ от ИИ в научной работе, а структуру управления: обязательные точки одобрения человеком, разделение утверждений по типу обоснования и жёсткую привязку чисел и интерпретаций к одобренным доказательствам. Это шаг от автономной генерации текста к контролируемому процессу с прослеживаемостью.

Кому это важно

Учёным и исследовательским группам, которые уже используют языковые модели для черновиков, обзоров литературы и оформления результатов; редакциям и рецензентам прикладных научных журналов, для которых важна проверяемость ссылок и утверждений; разработчикам ИИ-инструментов для науки, которым нужен готовый шаблон governance-слоя поверх существующих моделей.

Как это применить

Системный промпт Paper Pilot выложен в открытом доступе и рассчитан на развёртывание поверх ChatGPT, Gemini, Claude или внутренних корпоративных сред на базе языковых моделей, то есть его можно подключить как рабочий процесс поверх уже используемого инструмента, не дожидаясь отдельного продукта. Ключевой элемент, контрольные точки одобрения владельцем рукописи и требование, чтобы каждое число и интерпретация были прослеживаемы к одобренному доказательству.

Можно ли доверять

Проверка пока частична и это признают сами авторы: полноценно протестирован только слой обоснования цитат, на контролируемом механически оцениваемом бенчмарке с двумя коммерческими моделями и реальными статьями с arXiv, без использования ИИ-судьи, то есть результат не зависит от субъективной оценки другой модели. Результат впечатляющий (0% выдуманных цитат против 25% у моделей без ограничений), но результаты по обоснованию выводов, ревизии текста и устойчивости к состязательным атакам названы предварительными, а полная оценка этих направлений оставлена на будущее. Авторские имена, аффилиации, названия использованных коммерческих моделей и издание публикации в тексте аннотации не раскрыты.

Риски и подводные камни

Работа демонстрирует эффект только для одного из нескольких заявленных механизмов защиты, обоснования цитат; насколько надёжно работают контроль ревизий и устойчивость к состязательным манипуляциям, пока неизвестно. Система требует активного участия человека на восьми точках одобрения, это снижает риск выдумывания фактов, но одновременно увеличивает нагрузку на владельца рукописи по сравнению с полностью автономной генерацией текста.