ИИтог

LeRobot v0.6.0: мировые модели и новые VLA для робот-политик

моделиРедакция ИИтогHugging Face🔥70Рейтинг ИИтог · значимость 57 · 200000/ч
LeRobot v0.6.0: мировые модели и новые VLA для робот-политик

LeRobot v0.6.0, фреймворк для обучения робот-политик от Hugging Face, вводит три типа мировых моделей: VLA-JEPA (компактная VLA на Qwen3-VL-2B, которая предсказывает будущие кадры в скрытом пространстве), LingBot-VA (авторегрессивная видео-действие модель, которая генерирует будущие видео и действия вместе) и FastWAM (спаривает видео-генерирующего эксперта с компактным экспертом по действиям). Все три исчезают при инференсе, обеспечивая обучение на основе мировых моделей без дополнительных затрат. Одновременно интегрированы пять новых VLA: GR00T N1.7 (обновлённая интеграция с NVIDIA, теперь использует Cosmos-Reason2-2B), MolmoAct2 от Allen Institute с полным циклом (дообучение, оценка, развёртывание на SO-100/101), EO-1 (Qwen2.5-VL-3B backbone, 3B параметров), Multitask DiT (450M-параметровый диффузионный трансформер, обучается многим задачам по текстовым командам) и EVO1 (0.77B параметров, достаточно компактная для дообучения на скромных GPU). Для оценки успеха и прогресса введены две новые reward models: Robometer (претренированная 4B-модель на основе Qwen3-VL, обучена на миллионе траекторий, работает без задачи-специфичного обучения) и TOPReward (полностью без специального обучения, оборачивает любой VLM и читает log-вероятность токена «True»). Датасеты получили поддержку глубины (RGB+depth видео-потоки), автоматический конвейер языковых аннотаций (подзадачи с метками времени, планы, речь, вопросно-ответные системы), переменные видеокодеки (H.264, AV1, с аппаратным ускорением), и улучшения скорости загрузки до 2x. Представлено шесть новых бенчмарков: LIBERO-plus (10,000 пертурбированных вариантов с разными освещением и камерами), RoboTwin 2.0 (50 двурученских задач с 100k+ траекторий), RoboCasa365 (365 кухонных задач в 2,500 процедурно-генерируемых кухнях на мобильном манипуляторе), RoboCerebra (дальнего горизонта с цепочками 3, 6 подцелей), RoboMME (тест памяти: считать повторения, отследить скрытые объекты, имитировать процедуры) и VLABench (знания и рассуждения в манипуляции). Новый lerobot-rollout CLI унифицирует развёртывание с подключаемыми стратегиями: base (просто запуск), sentry (ротирующие эпизоды на Hub), highlight (сохраняет последние N секунд при нажатии клавиши), episodic (классический рабочий процесс) и DAgger (коррекции с участием человека в цикле, помеченные интервенционным флагом).

Ключевые факты

  • Три мировые модели (VLA-JEPA, LingBot-VA, FastWAM) учат роботов воображать будущее во время обучения; Robometer, претренированная модель для оценки на Qwen3-VL, обучена на 1 млн траекторий, оценивает прогресс без задачи-специфичного обучения
  • Пять новых VLA: GR00T N1.7 (Cosmos-Reason2-2B + согласование потока), MolmoAct2 (Allen Institute, обучается на SO-100/101 при ~12 ГБ), EO-1 (Qwen2.5-VL-3B), Multitask DiT (450M параметров, многозадачная) и EVO1 (0.77B, режим реального времени на скромных GPU)
  • Датасеты ускорены 2x: параллельное декодирование, uint8 кадры (4x экономия памяти), постоянные рабочие процессы, поддержка глубины (12-bit видео-потоки), автоматическая языковая аннотация (подзадачи с метками времени, VQA), пользовательские видеокодеки (H.264/AV1 с NVENC/VAAPI)
  • Шесть новых бенчмарков моделирования под одной lerobot-eval CLI: LIBERO-plus (10k пертурбированных вариантов), RoboTwin 2.0 (50 двурученских + 100k траекторий), RoboCasa365 (365 кухонных задач), RoboCerebra (дальнего горизонта с 3, 6 подцелями), RoboMME (память + подсчёт), VLABench (рассуждения)
  • lerobot-rollout: новый CLI для развёртывания с DAgger-стратегией (коррекции с участием человека в цикле), sentry (ротирующие эпизоды на Hub), highlight (сохраняет критические моменты), обучение FSDP и облачное обучение на HF Jobs

Почему это важно

Мировые модели (мировые модели), ключевой вопрос робо-исследований: действительно ли воображение будущего помогает политикам? LeRobot v0.6.0 даёт три разных ответа: VLA-JEPA предсказывает в скрытом пространстве и исчезает при инференсе (нулевые затраты при выводе), LingBot-VA генерирует видео и действия по частям с обратной связью, FastWAM учится грезить свои развёртывания. Одновременно, с Robometer и TOPReward, появляется способность оценивать успех и прогресс без обучения на конкретную задачу.

Кому это важно

Исследователям робо-манипуляции, компаниям, разворачивающим VLA на реальных роботах (SO-100/101, Koch, OpenArm), и инженерам, строящим долгосрочные поведения. Пять новых интегрированных VLA (GR00T N1.7, MolmoAct2, EO-1, EVO1, Multitask DiT) означают, что можно выбрать модель под свои гипотезы (компактность, мультизадачность, универсальность для разных платформ) и сразу дообучить на своих данных.

Как это применить

Начать с готовых чекпойнтов: lerobot-train --policy.path=lerobot/VLA-JEPA-Pretrain --dataset.repo_id=<ваш датасет>, затем дообучение. Для оценки: lerobot-eval --policy.path=lerobot/smolvla_robotwin --env.type=robotwin. Для развёртывания с коррекциями: lerobot-rollout --policy.path=<модель> --robot.type=so100_follower --dagger-strategy (человек берёт управление при ошибке, фиксирует, отпускает, вмешательство помечается флагом). Для ускорения датасета: --dataset.rgb_encoder.vcodec=h264 с переиндексацией видео. Для аннотаций: lerobot-annotate --repo_id=<датасет> --vlm.model_id=Qwen/Qwen2.5-VL-7B-Instruct.

Можно ли доверять

Официальный блог Hugging Face, команда LeRobot, авторитетный источник. Цитируются рецензируемые работы (JEPA, LingBot-VA, FastWAM, EO-1, EVO1, все имеют опубликованные статьи). Robometer обучена на датасете RSS 2026 (публикация). Интеграции VLA (GR00T N1.7, MolmoAct2 от Allen Institute) проверены тестами паритета (идентичные входы, идентичные выходы против оригинальных реализаций). Бенчмарки имеют Docker-образы и протестированы в CI.

Риски и подводные камни

Бенчмарки симуляции требуют специфичных системных зависимостей (LIBERO, SAPIEN, IsaacLab) и имеют отдельные инструкции установки; Docker-образы упрощают, но добавляют издержки. MolmoAct2 требует ~12 GB (bf16), LoRA дообучение, 24 GB GPU, что не всем доступно. Глубинное видео кодирование (12-bit) и параллельное декодирование требуют актуальную среду выполнения. DAgger требует явного участия человека в цикле при развёртывании (интервенции помечаются, но не автоматизированы). Бенчмарк дальнего горизонта (RoboCerebra) требует обучения цепочкам из 3, 6 подцелей, что усложняет на практике.

«Робо-исследования задают большой вопрос: действительно ли мировые модели помогают робот-политикам? v0.6.0 приносит три политики, чтобы ответить на этот вопрос.»

— Hugging Face LeRobot Blog