Представлена LaLa-World: модель мира, где действия описаны словами
В препринте, опубликованном на Hugging Face, показано, что латентные модели мира (latent world models, LWM) JEPA-типа могут учиться сразу на разных доменах и источниках данных, если взять у видеогенеративных моделей интерфейс, управляемый языком. На этой идее авторы строят LaLa-World, Language-conditioned Latent World model (латентную модель мира, обусловленную языком), которая учится на симуляции и траекториях роботов вместе с более широкими данными: изображениями и видео.
У подхода два ключевых решения. Во-первых, и числовые действия, и визуальные изменения описываются словами, поэтому один предсказатель будущего можно совместно обучать на разнородных наборах данных. Во-вторых, сам предсказатель построен на языковой модели: она интерпретирует языковые условия, пока предсказывает будущие латентные состояния.
По заявлению авторов, получившийся предсказатель показывает более высокое среднее качество планирования MPC (управления с прогнозом по модели), чем существующие LWM, которые обучают отдельно под каждый домен или задачу. Добавление изображений и видео дополнительно повышает среднее качество планирования и устойчивость к формулировке действий.
В сопоставлении с видеогенеративной моделью на основе RAEv2 LaLa-World достигает сопоставимого качества планирования при обучении в 6 раз дешевле и планировании в 13,9 раза быстрее. Это именно «сопоставимо», а не «лучше».
Далее предобученная LaLa-World служит инициализацией для LaLa-Policy, политики, которая совместно предсказывает действия и будущие визуальные представления. На бенчмарках LIBERO и RoboCasa LaLa-Policy работает на уровне Cosmos Policy (авторы пишут «конкурентно»), а скорость вывода у неё выше, до 5,5 раза. Авторы заключают, что подход служит эффективной основой для планирования «в воображении» и последующей дообучки политик.
Ключевые факты
- LaLa-World, латентная модель мира JEPA-типа, обусловленная языком; учится на симуляции, траекториях роботов, изображениях и видео.
- Числовые действия и визуальные изменения описываются словами, а предсказатель строится на языковой модели, так один предсказатель обучается на разнородных данных.
- По заявлению авторов, среднее качество планирования MPC выше, чем у LWM, обученных отдельно под каждый домен или задачу; изображения и видео повышают его и устойчивость к формулировке действий.
- Против базовой модели на RAEv2: сопоставимое качество планирования, обучение в 6 раз дешевле, планирование в 13,9 раза быстрее.
- LaLa-Policy, инициализированная из LaLa-World, на LIBERO и RoboCasa конкурентна Cosmos Policy и выводит до 5,5 раза быстрее.
Почему это важно
Работа предлагает способ обучать одну модель мира на очень разных данных, от симуляции и траекторий роботов до обычных изображений и видео, не делая отдельную модель под каждый домен. Для этого действия и визуальные изменения записываются на языке. Заявленный выигрыш практический: сопоставимое с видеогенеративной базой качество планирования при обучении в 6 раз дешевле и планировании в 13,9 раза быстрее.
Кому это важно
Исследователям робототехники и моделей мира, которые работают с планированием по модели и политиками для манипуляции. Также тем, кто сравнивает латентные модели JEPA-типа с видеогенеративными подходами, включая Cosmos Policy, по стоимости обучения и скорости вывода.
Как это применить
Прямого практического рецепта в описании нет. Идея для исследовательских команд: описывать действия и изменения сцены словами, чтобы объединять разнородные наборы данных, а предобученную модель мира использовать как инициализацию политики, как сделано с LaLa-Policy. Сведений о выпуске кода, весов или данных в источнике нет, поэтому оценить возможность воспроизведения по нему нельзя.
Можно ли доверять
Это препринт, представленный на странице Hugging Face; все выводы, заявления самих авторов. Абсолютные значения метрик (успешность, показатели MPC) в описании не приведены, названия авторов и организаций тоже не указаны. Не сказано, в чём измерены 6-кратная экономия обучения и 13,9-кратное ускорение планирования. Оценка 5,5 раза, лишь верхняя граница («до»). Для проверки заявлений нужен полный текст работы и независимое воспроизведение.
Риски и подводные камни
Сравнение с RAEv2-базой показывает сопоставимое, а не лучшее качество, выигрыш только в стоимости и скорости. LaLa-Policy описана как конкурентная Cosmos Policy, превосходство по точности не заявлено. Из бенчмарков названы только LIBERO и RoboCasa; результаты на реальных роботах не упомянуты. Ограничения и случаи неудач в описании не приводятся.