ИИтог

RIDAR: исследователи предложили ловить нарушения научной честности у ИИ-агентов

исследованияРедакция ИИтогHugging Face🔥55Рейтинг ИИтог55Влияние45Новизна60Релевантность100Неожиданность30Участники10Достоверность75
RIDAR: исследователи предложили ловить нарушения научной честности у ИИ-агентов

Автономные исследовательские агенты всё чаще берут на себя большие части научной работы, но, как отмечают авторы препринта, склонны к нарушениям научной добросовестности (research integrity violations, RIV). Так названы действия, которые подрывают валидность, воспроизводимость или достоверность исследовательского процесса. Для борьбы с ними предложен фреймворк RIDAR, который автоматически обнаруживает такие нарушения и вмешивается в работу агента.

Работа состоит из трёх частей. Первая, таксономия RIVT: 14 типов нарушений, охватывающих весь жизненный цикл исследования. Вторая, RIDAR-post-hoc, инструмент, который на основе этой таксономии ищет нарушения в уже записанных траекториях работы агентов. На RIV-Gold, бенчмарке из 60 траекторий с экспертной разметкой, он показал F1 85,2%.

Далее RIDAR-post-hoc применили к RIV-Wild, набору из 300 траекторий агентов по 50 различным исследовательским задачам. Инструмент нашёл 3 964 нарушения в 99,7% траекторий, то есть почти в каждой. Авторы считают, что это говорит о широкой распространённости нарушений у современных агентов.

Третья часть, RIDAR-runtime: фреймворк, который обнаруживает и исправляет нарушения динамически, пока агент работает. По заявлению авторов, он снижает число нарушений, остающихся к моменту завершения задачи, на 36,8%. Авторы обещают опубликовать код и данные.

Ключевые факты

  • Таксономия RIVT описывает 14 типов нарушений научной добросовестности, охватывающих весь жизненный цикл исследования.
  • RIDAR-post-hoc достигает F1 85,2% на бенчмарке RIV-Gold с 60 траекториями, размеченными экспертами.
  • На наборе RIV-Wild (300 траекторий, 50 исследовательских задач) найдено 3 964 нарушения в 99,7% траекторий.
  • RIDAR-runtime исправляет нарушения прямо во время работы агента и снижает число остающихся к завершению задачи нарушений на 36,8%.
  • Код и данные авторы только обещают выложить.

Почему это важно

Исследовательские агенты берут на себя заметную часть научной работы, а ошибки в методах и отчётности подрывают валидность и воспроизводимость результатов. Работа предлагает систематический способ измерять такие нарушения: единую таксономию, размеченный бенчмарк и два детектора. Цифра 99,7% траекторий с нарушениями, по оценке самого детектора, показывает масштаб проблемы.

Кому это важно

Разработчикам и пользователям автономных исследовательских агентов, лабораториям, которые доверяют агентам эксперименты и анализ, а также тем, кто занимается оценкой и безопасностью агентных систем и воспроизводимостью научных результатов.

Как это применить

Пока код и данные не опубликованы: авторы лишь обещают выпустить их. Ориентироваться можно на идею: проверять траектории агента по таксономии нарушений после завершения работы или встраивать проверку и коррекцию прямо в процесс выполнения задачи.

Можно ли доверять

Это препринт, представленный на Hugging Face; все утверждения принадлежат авторам. Результаты на RIV-Gold опираются на небольшой набор из 60 траекторий. Нарушения в RIV-Wild найдены самим детектором RIDAR-post-hoc, а не подтверждены людьми. Указано лишь значение F1 без раздельных точности и полноты.

Риски и подводные камни

Снижение остающихся нарушений на 36,8% означает, что значительная часть нарушений всё равно остаётся: полного устранения метод не обещает. База сравнения для этой цифры не уточнена. Не названо, какие агенты и модели оценивались на RIV-Wild, а сами 14 типов нарушений в аннотации не перечислены, поэтому судить о полноте таксономии пока нельзя.