ИИтог

Data World: авторы представили движок сред для обучения ИИ-агентов анализа данных

исследованияРедакция ИИтогHugging Face🔥57Рейтинг ИИтог57Влияние50Новизна60Релевантность95Неожиданность35Участники15Достоверность75
Data World: авторы представили движок сред для обучения ИИ-агентов анализа данных

Агенты анализа данных пишут код, чтобы обрабатывать разнородные файлы и выводить из них аналитические выводы. Масштабировать их обучение трудно по трём причинам, которые называют авторы: дорого собирать среды, мешают ограничения на приватность и интеллектуальную собственность, а открытые выводы сложно проверять, когда нет известной «истины», породившей данные.

Главная идея авторов: сначала описать мир, который стоит за файлами, и только потом генерировать сами файлы. Так устроен Data World, многоагентный движок, который синтезирует среды, задачи и рубрики (критерии оценки) из явно заданных механизмов. Независимые аудиты проверяют, что целевой ответ можно восстановить из наблюдаемых файлов, а рубрики используются и для оценки, и как награды при обучении с подкреплением (RL).

На основе движка собран бенчмарк DataWorld-Bench: 100 задач из 50 отложенных (не использованных в обучении) миров в 16 предметных областях. Задачи отобраны с помощью кураторства по человеческим предпочтениям, по реалистичности вопросов. Для обучения движок дал 2135 задач из 1037 непересекающихся миров.

Оценка десяти передовых моделей показала, что бенчмарк остаётся сложным, особенно в части поиска инсайтов (содержательных выводов из данных); авторы отмечают устойчивый разрыв между вычислением и инсайтом. Размер разрыва в тексте не приведён, названия моделей и их результаты тоже.

Затем на синтезированных задачах провели обучение с подкреплением «с нуля» (RL-zero) без дистилляции траекторий. Из Qwen3.6-35B-A3B получилась модель DataWorld-35B-A3B. При сопоставимой оценке она превосходит базовую модель на DataWorld-Bench на 7,06 пункта, на DAComp, на 14,28, на DABstep-Hard, на 20,90 и на JobBench (более широком бенчмарке по профессиональным задачам), на 12,13. Для DAComp, DABstep-Hard и JobBench в источнике указаны просто числа, без пояснения, пункты это или проценты. Абсолютные результаты обеих моделей не приводятся.

Ключевые факты

  • Data World, многоагентный движок, который сначала задаёт «мир» с явными механизмами, а потом генерирует файлы, задачи и рубрики; аудиты проверяют, что ответ восстановим из файлов.
  • Бенчмарк DataWorld-Bench: 100 задач из 50 отложенных миров в 16 областях, отобраны по реалистичности вопросов; для обучения, 2135 задач из 1037 миров.
  • Десять передовых моделей справляются с бенчмарком непросто, особенно с поиском инсайтов; авторы отмечают устойчивый разрыв между вычислением и инсайтом.
  • RL-zero на синтезированных задачах без дистилляции траекторий дал из Qwen3.6-35B-A3B модель DataWorld-35B-A3B.
  • Прирост к базе: +7,06 пункта на DataWorld-Bench, 14,28 на DAComp, 20,90 на DABstep-Hard, 12,13 на JobBench.

Почему это важно

Нехватка пригодных сред и проверяемых данных, одно из узких мест при обучении агентов анализа данных: реальные файлы дороги в подготовке и часто закрыты приватностью и правами. Подход Data World обходит это, заранее задавая «истину» синтезированного мира, поэтому открытые аналитические выводы можно проверять. По заявлению авторов, обучение на таких задачах заметно улучшает модель на четырёх бенчмарках.

Кому это важно

Исследователям и командам, которые обучают или оценивают агентов анализа данных и работают с обучением с подкреплением. Интересно и тем, кто делает бенчмарки для аналитических задач: в работе описан способ отбора задач по реалистичности и аудита восстановимости ответа.

Как это применить

Из текста источника напрямую применять пока нечего: сведений о доступности кода, датасета или весов модели в нём нет. Идея, которую можно взять на заметку, сначала явно описывать механизмы «мира», потом порождать данные и рубрики, а ответы проверять независимым аудитом.

Можно ли доверять

Это препринт с Hugging Face Papers, и все цифры, заявления самих авторов; независимой проверки в тексте нет. В описании не названы авторы и организации. Приросты даны только относительно базовой модели, абсолютные баллы не приведены, и не сказано, превосходит ли модель передовые. Единицы прироста для DAComp, DABstep-Hard и JobBench не пояснены.

Риски и подводные камни

Бенчмарк построен тем же движком, что и обучающие задачи (хотя миры для него отложены), поэтому часть улучшений на нём может отражать близость распределений; на внешних DAComp, DABstep-Hard и JobBench прирост тоже заявлен, но без абсолютных значений оценить его масштаб трудно. Размер разрыва между вычислением и инсайтом не количественно описан, а названия десяти оценённых моделей не приведены.