WorldCycle: самопроверяемое RL уменьшает дрейф видео-моделей мира до 44%

Видео-модели мира, системы, которые предсказывают, как будет меняться сцена под управлением последовательности действий, нужны для долгосрочного планирования и исследования среды, но страдают от накопления ошибок: чем длиннее горизонт предсказания, тем сильнее модель отклоняется от реального состояния. Дообучение обучением с подкреплением (RL) могло бы это исправить, но упирается в проблему проверки: для произвольной последовательности действий обычно нет эталонного «истинного» будущего состояния, с которым можно было бы сверить долгосрочный дрейф модели.

Авторы предлагают обходной путь, обратимые циклы действий. Идея в том, что если выполнить последовательность действий, а затем ту же последовательность в обратном порядке (инверсию), модель аналитически обязана вернуться в исходное состояние. Это даёт способ проверять долгосрочную согласованность модели без разметки человеком: расхождение между исходным и «возвращённым» состоянием само по себе служит сигналом ошибки.

На этой идее построен фреймворк WorldCycle, метод самопроверяемого обучения с подкреплением. Он строит из обычных последовательностей действий замкнутые циклы (действие плюс его инверсия) и их повторные прогоны, а затем оптимизирует две дополняющие друг друга награды: награду за пространственное замыкание, требующую симметрии между зеркальными прямым и обратным сегментами цикла, и награду за временную согласованность, выравнивающую состояния между повторными прогонами одного и того же цикла. Вместе эти награды заставляют модель осваивать действия как согласованные операторы состояния, а не запоминать конкретные временные паттерны, и такой подход естественно распространяется на составные последовательности действий, которых не было в обучающих данных и с которыми базовая модель справляется плохо.

Отдельно авторы выпустили CycleBench, диагностический бенчмарк для проверки способности моделей мира возвращаться в исходное состояние при сложных структурах действий.

По заявленным результатам, WorldCycle сокращает дрейф возврата состояния до 44% и почти вчетверо повышает точность на составных действиях по сравнению с базовой моделью, авторы называют это важным фундаментом для физически обоснованных (physically grounded) моделей мира.

Ключевые факты

Видео-модели мира предсказывают развитие сцены под управлением действий, но страдают от накопления ошибок на длинных горизонтах, а обычное RL-дообучение не может это проверить, нет эталонного будущего состояния.
Метод WorldCycle использует обратимые циклы действий: последовательность плюс её инверсия аналитически обязана вернуть модель в исходное состояние, это даёт проверку без разметки человеком.
Оптимизируются две награды: за пространственное замыкание (симметрия прямого и обратного сегментов цикла) и за временную согласованность (совпадение состояний между повторами цикла).
WorldCycle сокращает дрейф возврата состояния до 44% и почти вчетверо повышает точность на составных действиях по сравнению с базовой моделью.
Авторы выпустили диагностический бенчмарк CycleBench для проверки способности моделей мира возвращаться в исходное состояние при сложных структурах действий.

Почему это важно

Накопление ошибок на длинных горизонтах, известное узкое место видео-моделей мира, а RL-дообучение таких моделей упиралось в отсутствие эталонного будущего состояния для проверки. WorldCycle предлагает содержательный обходной путь: аналитическое свойство обратимости действий (цикл «туда-обратно» обязан вернуть систему в исходную точку) даёт сигнал ошибки без разметки человеком, это новый источник самопроверяемого сигнала для обучения, а не косметическое улучшение существующего.

Кому это важно

Исследователям и инженерам, которые строят видео-модели мира для робототехники, симуляции и долгосрочного планирования, метод даёт способ дообучать такие модели через RL без дорогой ручной разметки. Полезен и тем, кто занимается диагностикой качества генеративных моделей действия: CycleBench даёт готовый бенчмарк для проверки составных сценариев.

Как это применить

WorldCycle, не готовый продукт, а метод обучения и связанный с ним бенчмарк. Применить его можно, встроив награды за пространственное замыкание и временную согласованность в цикл RL-дообучения уже существующей видео-модели мира: для этого берутся обычные последовательности действий, из них конструируются обратимые циклы и их повторные прогоны, а расхождение состояний используется как обучающий сигнал. CycleBench можно использовать отдельно, как диагностический тест на устойчивость модели к составным действиям, не входившим в обучающую выборку.

Можно ли доверять

Материал, препринт-аннотация на HuggingFace Papers, без указания авторов и организаций в самом тексте и без данных о выборке рецензирования. Цифры (сокращение дрейфа до 44%, рост точности почти в 4 раза), самостоятельно заявленные авторами относительные показатели против собственной базовой модели, без независимой проверки и без абсолютных чисел точности в источнике.

Риски и подводные камни

В источнике нет абсолютных показателей точности, только относительные улучшения против базовой модели, что затрудняет сравнение с другими подходами. Не раскрыты параметры обучения: размер модели, объём вычислений, состав данных. Также не описаны масштаб и содержание самого CycleBench, кроме того, что это диагностический бенчмарк, оценить его репрезентативность по тексту нельзя.