ИИтог

ABot-AgentOS: операционная система для роботов с долговременной памятью

ИИ-агентыРедакция ИИтогHugging Face🔥54Рейтинг ИИтог · значимость 69 · 50 баллов · 1/ч · 1 коммент.
ABot-AgentOS: операционная система для роботов с долговременной памятью

Группа исследователей (первый автор, Jiayi Tian) описала ABot-AgentOS, универсальную операционную систему для роботов-агентов. Системы восприятия и предсказания действий на основе VLM (модели «зрение-язык») и VLA (модели «зрение-язык-действие») уже неплохо справляются с распознаванием сцены и выбором движения, но долгосрочным воплощённым агентам (роботам, которые действуют в реальном мире долгое время) всё ещё не хватает общего рантайм-слоя, среды выполнения, которая отвечает за рассуждение, память, использование инструментов, проверку результатов и совместную работу разных типов роботов. ABot-AgentOS ставится поверх низкоуровневых контроллеров робота и добавляет слой более высокого уровня: планирование с учётом сцены, изолированное по контексту выполнение отдельных навыков, многоступенчатую проверку действий, мультимодальную память и совместную работу устройства (edge) и облака.

Для оценки таких систем авторы представили отдельный исполняемый бенчмарк EmbodiedWorldBench: 16 сцен (в помещении, на улице и смешанные), четыре уровня сложности и свыше 200 задач, навигация, поиск объектов, диалог с NPC (неигровыми персонажами), реакция на динамические события и оценка по фактическому следу действий робота (trace-grounded scoring), а не только по итоговому результату.

Ключевой технический вклад, Universal Multi-modal Graph Memory (универсальная мультимодальная графовая память): постоянное хранилище, которое переводит диалоги, визуальные наблюдения, пространственный контекст, временные связи и следы выполненных задач в типизированные узлы и рёбра графа, привязанные к первоисточнику данных. Поверх памяти работает цикл самообучения на основе ошибок: система диагностирует сбои памяти и превращает их в проверенные (gated) артефакты для будущих запусков, они допускаются только к более поздним, ещё не пройденным разделам оценки, чтобы система не «подсматривала» правильные ответы в рамках текущего теста, но всё равно постепенно улучшалась.

На начальном подмножестве EmbodiedWorldBench ABot-AgentOS обходит базовый вариант с одним контроллером и по доле успешных задач, и по полноте достижения цели. На отдельных бенчмарках памяти статичная версия ABot-AgentOS Static показала результат 87,5 на LoCoMo, 59,9 на OpenEQA EM-EQA, 88,6 на Mem-Gallery и 76,5 (метрика Acc@All) на NExT-QA; после включения цикла самообучения результаты выросли: LoCoMo, до 88,7, OpenEQA, до 60,4, Mem-Gallery, до 89,0. Авторы делают вывод, что общий слой Agent OS способен улучшать выполнение долгих воплощённых задач и одновременно давать роботу постоянную, проверяемую (auditable) память для продолжительного взаимодействия с окружением.

Ключевые факты

  • ABot-AgentOS, операционная система для роботов поверх низкоуровневых контроллеров: планирование, изолированное выполнение навыков, проверка действий, память, связка устройство-облако
  • Новый бенчмарк EmbodiedWorldBench: 16 сцен, 4 уровня сложности, свыше 200 задач (навигация, поиск объектов, диалог с NPC, динамические события)
  • Universal Multi-modal Graph Memory переводит диалоги, наблюдения и следы задач в типизированный граф, привязанный к первоисточнику
  • Цикл самообучения по ошибкам памяти улучшает систему без утечки правильных ответов из текущего теста в оценку
  • Результаты памяти: LoCoMo 87,5 → 88,7, OpenEQA EM-EQA 59,9 → 60,4, Mem-Gallery 88,6 → 89,0 после самообучения; NExT-QA 76,5

Почему это важно

Современные роботы, управляемые VLM/VLA-моделями, хорошо распознают сцену и предсказывают следующее действие, но плохо справляются с задачами, растянутыми во времени: они не помнят, что делали час назад, не проверяют собственные шаги и не умеют координировать разные типы «тел» (роботов) через единый рантайм. ABot-AgentOS предлагает именно такой недостающий слой, общую операционную систему для агентного поведения робота, а не ещё одну модель восприятия.

Кому это важно

Разработчикам робототехнических платформ и сервисных роботов, которым нужны долгие автономные сценарии (склад, дом, улица) с памятью о прошлых действиях; исследователям, работающим над бенчмарками для воплощённого ИИ; командам, которые строят мультиагентные и мультимодальные системы памяти и хотят сравнить их на EmbodiedWorldBench, LoCoMo, OpenEQA, Mem-Gallery и NExT-QA.

Как это применить

Работа описана как исследовательская публикация (научная статья, а не готовый коммерческий продукт): архитектура ABot-AgentOS ставится поверх существующих низкоуровневых контроллеров робота, то есть теоретически совместима с уже развёрнутыми платформами, если у них есть API для управления. Для оценки собственных агентных систем можно использовать открытый бенчмарк EmbodiedWorldBench вместо разработки тестов с нуля.

Можно ли доверять

Источник, статья на HuggingFace Papers с конкретными числовыми результатами на нескольких независимых бенчмарках (LoCoMo, OpenEQA, Mem-Gallery, NExT-QA) и собственным бенчмарком EmbodiedWorldBench; авторы явно описывают механизм защиты от утечки правильных ответов между разделами оценки. Это признаки добросовестной научной работы, но цифры получены самими авторами на начальном подмножестве бенчмарка, независимого воспроизведения результата пока нет.

Риски и подводные камни

Заявленный прирост качества показан на «начальном подмножестве» (initial subset) EmbodiedWorldBench, а не на бенчмарке целиком, насколько результат сохранится на полном наборе задач, из текста не следует. Также нет сведений о вычислительных затратах, задержке отклика и требованиях к оборудованию для работы такой многоуровневой архитектуры в реальном времени на физическом роботе.