Лишь 37 из 1598 статей по RL дошли до кода семи открытых фреймворков
Авторы работы исходят из простой посылки: специалисты применяют методы обучения с подкреплением (RL) для языковых моделей через обучающие фреймворки, поэтому метод, который фреймворк включил, доступен пользователям одной сменой конфигурации. Исследование измеряет, как часто методы из статей действительно попадают в такой код.
Для этого авторы проследили семь открытых фреймворков для RL-дообучения по истории их коммитов и связали её с 6939 отобранными статьями на arXiv за период с января 2025 по июнь 2026 года. Из 1598 статей, предлагающих общий метод RL-обучения, хотя бы в один фреймворк попали 37.
По пяти квартальным когортам статей число включённых в течение 180 дней держалось между 5 и 7, хотя сами когорты выросли с 72 до 386 статей. То есть поток публикаций вырос, а число методов, доходящих до кода, остаётся примерно прежним.
Включённые статьи отличаются от остальных статей тех же кварталов. Они чаще обучали политики размером 30 млрд параметров и больше (41% против 10%) и чаще меняли коэффициент, ограничение (clip), маску или вес в уже существующей функции потерь (29% против 9%). По словам авторов, оба разрыва сохраняются, если исключить статьи компаний, которые сопровождают сами фреймворки, а публикация кода встречалась одинаково часто в обеих группах.
Обсуждения в открытом доступе почти не объясняют, почему методы не попали в код. По данным авторов, из задач (issues) и запросов на слияние (pull requests) фреймворков видно, что мало методов отклоняют публично. Более чем у девяти из десяти общих методов, которые ни один фреймворк не включил, там нет ни одной ветки обсуждения, которая их цитирует или называет, а многие предложения, которые всё же появляются, остаются открытыми без ответа.
Ещё два массива данных, задачи фреймворков и технические отчёты 13 крупных моделей с открытыми весами, показывают, что пользователи редко сообщают о сбоях обучения публично, а отчёты называют 8 из 13 широко включённых методов. Данные авторы публикуют как трекер: он связывает сбои обучения с реализациями во фреймворках и перечисляет правила вклада каждого фреймворка и прежние предложения.
Ключевые факты
- Из 1598 статей с общим методом RL-обучения хотя бы в один из семи открытых фреймворков попали 37; всего сопоставлено 6939 отобранных статей на arXiv за январь 2025, июнь 2026.
- Число методов, включённых в течение 180 дней, держалось между 5 и 7 по пяти квартальным когортам, тогда как когорты выросли с 72 до 386 статей.
- Включённые статьи чаще обучали политики от 30 млрд параметров (41% против 10%) и чаще правили коэффициент, clip, маску или вес в существующей функции потерь (29% против 9%); публикация кода на отбор не влияла.
- У более чем девяти из десяти не включённых общих методов нет ни одной ветки обсуждения во фреймворках, где их цитируют или называют; отклоняют методы публично редко.
- Авторы выкладывают данные как трекер, связывающий сбои обучения с реализациями во фреймворках и перечисляющий правила вклада и прежние предложения.
Почему это важно
Для практиков метод из статьи становится доступным по-настоящему, когда его включает фреймворк: тогда он, по словам авторов, в одной смене конфигурации от пользователя. Работа считает, как часто такое происходит: 37 из 1598 статей с общим методом. При этом число включённых за 180 дней методов не растёт вместе с потоком публикаций: 5-7 на когорту при росте когорт с 72 до 386 статей.
Кому это важно
Исследователям RL для языковых моделей, которые решают, делать ли метод пригодным для включения во фреймворки; сопровождающим фреймворков, чьи правила вклада и необработанные предложения попали в трекер; командам, которые выбирают метод для обучения и хотят понимать, какие методы реально доступны из коробки.
Как это применить
Данные авторы выкладывают как трекер: он связывает сбои обучения с реализациями во фреймворках и перечисляет правила вклада каждого фреймворка и прежние предложения. Исследователь может сверить свой метод с прежними предложениями и правилами вклада, а практик, проверить, включён ли нужный метод во фреймворк, который он использует. Название и адрес трекера в описании не указаны.
Можно ли доверять
Материал, краткое описание работы на странице Hugging Face; сами методика и данные в нём изложены сжато, и проверить их полностью по этому тексту нельзя. Все цифры в пересказе, заявления авторов. Корреляционный характер сопоставления важен: описание фиксирует различия между включёнными и остальными статьями, но не объясняет причин. Авторы отмечают устойчивость результатов к исключению статей компаний, сопровождающих фреймворки, и равную частоту публикации кода в обеих группах.
Риски и подводные камни
Из описания не названы семь фреймворков, не раскрыто разбиение по каждому из них и не указано, какие именно методы входят в число широко включённых. Выводы относятся к выбранным семи фреймворкам и периоду с января 2025 по июнь 2026 года. Причины малого числа включений в описании не объясняются: различия по размеру политики и типу правки функции потерь, лишь наблюдаемые закономерности, а публичные обсуждения во фреймворках, по словам авторов, мало что говорят об отказах.