HappyWorld-Bench: новый бенчмарк проверил надёжность моделей мира

Учёные представили HappyWorld-Bench, бенчмарк, который оценивает не только качество генерируемых моделями мира сцен, но и их согласованность и реакцию при исследовании, взаимодействии и изменениях со стороны агента. В основе бенчмарка лежит иерархическая система из шести способностей моделей мира (обозначены W1, W6), от генеративного построения сцены до единого моделирования мира. Эти способности проверяются по трём независимым направлениям: видео-модели мира, пространственные модели мира и воплощённые (embodied) модели мира, то есть системы, управляющие действиями агента в среде.

Набор данных включает 1138 видео-промптов, 300 пространственных сцен и 254 воплощённых тестовых сценария. Для всех трёх направлений авторы развернули отдельную площадку HappyWorld-Arena, где организуются человеческие сравнения пар ответов (A/B) и на их основе выводятся рейтинги моделей по системе Эло; эти оценки дополняются новыми автоматическими метриками, которые, по описанию авторов, «фиксируют поведенческую корректность» моделей.

В рамках единой методики протестировали 14 видео-моделей мира, 9 пространственных систем и 8 воплощённых кандидатов (конкретные названия моделей в источнике не приводятся). Результаты показали, что заметные пробелы в надёжности остаются во всех трёх направлениях. Видео-модели теряют согласованность при длительной генерации и при повторном возврате к уже показанным участкам сцены. Лучшие пространственные модели достигают точности размещения объектов 70,14% и доли успешно выполненных правок сцены 73,33%, то есть даже у лидеров заметная часть операций не выполняется корректно. Воплощённые модели плохо сохраняют состояние среды при многошаговых последовательностях действий и неточно реагируют, когда условия действия или физические правила сцены меняются.

Авторы делают вывод, что модели мира нужно оценивать не только по визуальному качеству генерируемой картинки, но и по согласованности состояния и по корректности реакции на действия и вмешательства агента.

Ключевые факты

HappyWorld-Bench охватывает три направления: видео-модели мира, пространственные модели мира и воплощённые (embodied) модели мира, в основе, иерархия из шести способностей (W1, W6)
Набор данных: 1138 видео-промптов, 300 пространственных сцен, 254 воплощённых тестовых сценария
Протестировано 14 видео-моделей, 9 пространственных систем и 8 воплощённых кандидатов; оценка сочетает рейтинги Эло от человеческих сравнений и автоматические метрики
Лучшие пространственные модели показали точность размещения объектов 70,14% и долю успешных правок сцены 73,33%
Видео-модели теряют согласованность при долгой генерации и повторных обращениях к сцене, воплощённые, плохо сохраняют состояние при многошаговых действиях и слабо реагируют на изменённые условия и физические правила

Почему это важно

Модели мира лежат в основе многих генеративных видео-систем и агентов, которым нужно предсказывать и симулировать последствия своих действий в среде. Если такая модель «забывает» состояние сцены или ведёт себя непоследовательно при повторном обращении к одному и тому же месту, на неё нельзя опереться в задачах планирования и управления. HappyWorld-Bench впервые сводит проверку видео-, пространственных и воплощённых моделей мира в единую методику и показывает, что даже у лучших современных систем такие пробелы остаются.

Кому это важно

Прежде всего разработчикам моделей мира и генеративного видео, исследователям в области воплощённого ИИ и робототехники, которым нужны агенты, способные надёжно действовать в смоделированной среде, а также командам, оценивающим готовность подобных систем к практическому применению.

Как это применить

HappyWorld-Bench задуман как инструмент оценки: разработчики моделей мира могут прогонять свои системы по трём направлениям бенчмарка (видео, пространство, воплощённые сценарии) и сравнивать результаты как по рейтингу Эло из человеческих сравнений, так и по автоматическим метрикам, чтобы находить конкретные слабые места, например, потерю согласованности при долгих генерациях или неточное выполнение правок сцены.

Можно ли доверять

Источник, описание исследовательской работы с конкретными количественными результатами (число промптов и сцен, число протестированных моделей, показатели точности), что говорит о содержательном бенчмарке. При этом в доступном тексте не названы ни авторы, ни организация, ни конкретные протестированные модели, ни дата публикации, это стоит учитывать при оценке материала.

Риски и подводные камни

Авторы прямо указывают на нерешённые проблемы: видео-модели теряют согласованность при длительной работе, пространственные модели допускают ошибки даже в лучшем случае (около трети правок не выполняется корректно), а воплощённые модели плохо держат состояние среды при цепочках действий и неточно реагируют на изменения условий и физических правил. Это значит, что полагаться на подобные модели в задачах, требующих устойчивой и предсказуемой симуляции среды, пока преждевременно.