AllenAI представила ToyBlocks: открытую среду с роботом-рукой и кубиками для обучения роботов

В блоге AllenAI на Hugging Face описан каркас FoundationWorlds, способ создавать контролируемые симулированные среды для изучения обучения роботов. Авторы исходят из аналогии с чашкой Петри или террариумом: чтобы разобраться в сложной системе, учёные начинают с небольшой управляемой среды, где можно менять условия и наблюдать эффект. По мысли авторов, в робототехнике исследователь должен так же уметь изменить обучающие данные или устройство модели, повторить тест и найти причину сбоя, тогда как нынешние демонстрации роботов часто узки и не объясняют, чему робот научился и почему ошибается.
Каждая такая среда (FoundationWorld) объединяет три вещи: симулированный мир под конкретную область, инструменты автоматической генерации задач и обучающих демонстраций и метрики поведения робота во времени. Это позволяет изучать, например, как модели улучшаются с ростом объёма данных и как лучше сочетать высокоуровневое рассуждение с точным физическим управлением.
Первая среда, ToyBlocks: открытая симуляция с роботом-рукой и блоками на столе. Обстановка намеренно простая, но роботу приходится рассуждать о том, как блоки взаимодействуют, и как их расположить, толкая, переворачивая и складывая. На гранях блоков есть картинки и буквы, поэтому возможны задачи поиска, сортировки и составления слов: иногда блок нужно повернуть, чтобы увидеть скрытую грань. Рандомизация предметной области (размер блоков, высота стола и другие физические параметры меняются от сцены к сцене) проверяет, насколько модели обобщают при изменении геометрии. ToyBlocks спроектирована вокруг четырёх требований: реалистичные физика и внешний вид; автоматическая генерация задач и демонстраций в большом объёме; задачи, сочетающие рассуждение и ловкость; широкое покрытие задач внутри области. Авторы считают, что в открытых областях выполнить все четыре невозможно, а узкий охват ToyBlocks это позволяет. Работа опирается на прежние открытые проекты MolmoAct 2, MolmoBot и MolmoSpaces.
Как это устроено. Навыки для коротких задач генерируются обучением с подкреплением и планированием движений; обучение идёт в Isaac Lab, открытом фреймворке Nvidia для обучения роботов в симуляции. Методом проб и ошибок политики (модели, выбирающие действия робота) осваивают непрехватывающие навыки: сдвинуть блок по столу или перевернуть его на другую грань, не поднимая. При генерации навыков можно использовать привилегированную информацию, которую симулятор отдаёт напрямую, а реальный робот не получает (например, точное положение и ориентацию блока); благодаря этому автоматически создаются навыки, для которых в реальном мире потребовалась бы телеоперация. Затем планировщик задач и движений (TAMP) выбирает и выстраивает нужные навыки и планирует движения между ними; прогон каждого плана даёт набор записанных демонстраций с разметкой задач и навыков. Генерация данных масштабируется: сотни планов выполняются параллельно на одном GPU, до 24 раз быстрее реального времени. При этом модели обучаются на сырых сенсорных наблюдениях, а не на готовых позах блоков, чтобы приблизиться к реальным условиям. Генератор управляем: можно собрать обучающую смесь с упором на определённые навыки (например, проверить, поможет ли добавление демонстраций поворота и перекладывания в улучшении переворота). Оценка даёт метрики помимо доли успехов: скорость выполнения, силы, приложенные к объектам, и прогресс по задаче. Есть и веб-интерфейс, где можно подключить Claude или другую передовую модель и давать роботу команды на естественном языке.
Первые исследования на ToyBlocks. Для низкоуровневых моделей действий (VLA, «зрение, язык, действие») проверяют пространственное обобщение на четырёх задачах: Stack, Unstack, Flip и Rotate. Интерполяция, новые конфигурации внутри обучающего диапазона, экстраполяция, за его пределами; например, обучение на объектах только в левой области стола и тест в правой либо обучение на стопках высотой 2 и 5 блоков и тест на высотах 3 и 4. По словам авторов, данные об обобщении VLA противоречивы: одни работы находят хрупкость к смене раскладки и освещения, другие, хорошее обобщение. В первых результатах популярные модели действий (ManiFlow, π0.5, MolmoAct 2) обобщают плохо, несмотря на масштабное предобучение; авторы также показывают, как улучшили обобщение, и разбирают вклад каждого приёма (в подписи к графику упомянут LoRA, низкоранговая адаптация). Они считают, что обобщение моделей действий далеко от решения, а ToyBlocks, полезный испытательный стенд.
Для высокоуровневого планирования применяют иерархию: Molmo 2 (модель «зрение, язык») выбирает навык и блок, а ManiFlow выполняет команду и после завершения запрашивает следующую. Проверка идёт на задаче составления слов из трёх букв (пример, «Stack Ai2») в трёх сценариях возрастающей сложности: буквы стоят прямо и видны; буквы могут быть повёрнуты; буквы не видны в начале эпизода. Есть эталонные компоненты (оракулы) на высоком и низком уровнях, чтобы понять, где именно произошёл сбой, в планировании или исполнении. Наконец, в экспериментах с агентными системами три постановки изучаются на Claude Opus 5.5; в задаче «поиск и составление слова» навыки ToyBlocks открыты через Model Context Protocol (MCP), агент видит сцену по изображениям с камеры и вызывает навыки вроде pick, flip, rotate, указывая пиксель. Количественные результаты и остальные постановки в доступном тексте не приведены.
Ключевые факты
- FoundationWorlds, каркас AllenAI для контролируемых симулированных сред: мир, генерация задач и демонстраций, метрики поведения робота во времени.
- Первая среда, ToyBlocks, открытая симуляция с роботом-рукой и блоками на столе; навыки обучаются в Isaac Lab (Nvidia) обучением с подкреплением и планированием движений.
- Генерация данных без телеоперации: сотни планов параллельно на одном GPU, до 24 раз быстрее реального времени.
- В первых результатах популярные модели действий (ManiFlow, π0.5, MolmoAct 2) плохо обобщают по пространству несмотря на масштабное предобучение; авторы считают проблему далёкой от решения.
- Среда используется и для оценки иерархического планирования (Molmo 2 + ManiFlow) и агентных систем на Claude Opus 5.5 через MCP.
Почему это важно
Авторы указывают на слабое место робототехники: демонстрации часто узки, а противоречивые данные о том, хорошо ли обобщают модели «зрение, язык, действие», опираются на реальные наборы данных с ограниченной гибкостью. ToyBlocks предлагает простую воспроизводимую среду, где можно менять данные и условия, повторять тесты и выяснять причину сбоя, в том числе отделять ошибки планирования от ошибок исполнения.
Кому это важно
Прежде всего исследователям обучения роботов и моделей действий, а также тем, кто изучает сочетание высокоуровневого рассуждения с низкоуровневым управлением. Интересна она и тем, кто проверяет, как передовые языковые модели планируют и действуют через вызовы инструментов. Для широкой аудитории тема нишевая.
Как это применить
В заголовке публикации указаны ссылки на код, данные, модели и документацию. Исследователь может генерировать больше демонстраций нужного типа (например, толкания или переворота), обучать или дообучать модели и проверять их на задачах, исключённых из обучения; можно задавать собственные задачи и метрики, например сравнивать выбор объектов указанием и текстовыми командами вроде «pick the yellow block». Через веб-интерфейс можно подключить Claude или другую передовую модель и управлять роботом на естественном языке. Лицензия кода, данных и моделей в доступном тексте не названа.
Можно ли доверять
Это публикация самих разработчиков на Hugging Face в пространстве allenai, то есть описание собственной работы; независимой проверки в тексте нет. Доступный фрагмент оборван до результатов: количественных показателей оценок в нём нет, поэтому выводы вроде «модели обобщают плохо» приведены как утверждение авторов без цифр. Имена авторов и дата в доступном тексте не указаны.
Риски и подводные камни
Среда намеренно узкая: авторы сами говорят, что выполнить все четыре требования можно именно благодаря малому охвату, поэтому выводы не обязаны переноситься на открытые домены. Навыки генерируются с привилегированной информацией симулятора, которой у реального робота нет, и для перехода к физическому миру нужна проверка, перенос на реальных роботов заявлен среди тем оценок, но цифр в доступном тексте нет. Заявленная скорость до 24 раз быстрее реального времени дана без указания видеокарты.