Двойная латентная память для моделей «видение-язык-действие» в роботизированных манипуляциях
Большинство современных моделей «видение-язык-действие» (Vision-Language-Action, VLA) для управления роботами предсказывают следующее действие, опираясь только на текущий кадр наблюдения, по марковскому предположению, то есть без учёта истории предыдущих шагов. Из-за этого такие модели плохо справляются с задачами с длинным горизонтом планирования, где результат зависит от событий, произошедших много шагов назад (например, робот должен помнить, что он уже положил предмет в ящик, прежде чем переходить к следующему действию). Существующие попытки добавить моделям память либо просто расширяют окно наблюдения (модель видит больше кадров подряд), либо хранят историю отдельно, в банке памяти, откуда данные извлекаются как вспомогательный контекст. Проблема в том, что в обоих случаях память остаётся вне «родного» латентного пространства модели, где происходит собственно рассуждение и формирование действия, то есть прошлый опыт не переплетается напрямую с процессом принятия решения.
Авторы предлагают LaMem-VLA, фреймворк, в котором память изначально устроена как часть латентного пространства модели. Он состоит из четырёх согласованных модулей: «куратор» раскладывает историю событий на два взаимодополняющих хранилища, кратковременной и долговременной памяти; «искатель» опрашивает оба хранилища, используя текущее мультимодальное понимание сцены, чтобы найти релевантные для задачи фрагменты прошлого опыта; «конденсатор» сжимает найденные фрагменты в компактные латентные токены памяти (отдельно для кратковременной и долговременной части); «ткач» объединяет эти токены памяти с текущим наблюдением и текстовой инструкцией в одну непрерывную последовательность эмбеддингов, которую модель обрабатывает целиком. Благодаря тому что представление, поиск и использование памяти происходят в одном и том же непрерывном латентном пространстве, память напрямую участвует в рассуждении модели и влияет на генерацию действий, при этом объём используемого контекста остаётся ограниченным.
Авторы проверили LaMem-VLA в двух стандартных для этой области симуляционных средах, SimplerEnv и LIBERO, и сообщают, что фреймворк превосходит существующие подходы к организации памяти в VLA-моделях.
Ключевые факты
- Проблема: большинство VLA-моделей предсказывают действие только по текущему кадру (марковское предположение) и теряются в длинных многошаговых задачах
- Прежние решения либо расширяют окно наблюдения, либо держат память в отдельном банке, в обоих случаях она не встроена в латентное пространство рассуждения модели
- LaMem-VLA вводит четыре модуля: куратор (организует кратковременную и долговременную память), искатель (ищет релевантный контекст), конденсатор (сжимает его в латентные токены), ткач (объединяет токены памяти, наблюдение и инструкцию в одну последовательность)
- Память представляется, извлекается и используется в одном непрерывном латентном пространстве, что позволяет ей напрямую участвовать в формировании действия при ограниченном контексте
- На бенчмарках SimplerEnv и LIBERO фреймворк показал результаты выше существующих подходов к памяти в VLA-моделях
Почему это важно
Роботы, управляемые современными VLA-моделями, часто «забывают» о том, что уже произошло несколько шагов назад, потому что модель принимает решения фактически только по текущему кадру. Это ограничивает применение таких моделей в реальных многошаговых сценариях, сборке, сортировке, последовательных манипуляциях на складе, где правильное действие зависит от истории, а не только от текущей картинки. LaMem-VLA предлагает встроить память в само рассуждение модели, а не пристёгивать её сбоку.
Кому это важно
Работа адресована исследователям и инженерам, разрабатывающим модели управления роботами-манипуляторами (VLA-модели), а также компаниям, которые создают автоматизированные складские и производственные системы, где роботу нужно удерживать в памяти состояние задачи на протяжении многих шагов.
Как это применить
Практически LaMem-VLA, это архитектурное решение из четырёх модулей (куратор, искатель, конденсатор, ткач), которое можно рассматривать как надстройку над существующими VLA-моделями: она берёт на себя организацию и сжатие истории наблюдений в латентные токены и подмешивает их в общий поток эмбеддингов вместе с текущим кадром и инструкцией. Авторы проверяли подход в симуляционных средах SimplerEnv и LIBERO, которые эмулируют задачи манипуляции для роботов.
Можно ли доверять
Это исследовательская работа (препринт, опубликован на HuggingFace Papers), результаты представлены только на двух симуляционных бенчмарках, SimplerEnv и LIBERO, без проверки на реальных роботах. На момент публикации материал набрал умеренный отклик (46 голосов, 2 комментария), независимой стороннней проверки результатов пока не было.
Риски и подводные камни
Четырёхмодульная архитектура (куратор, искатель, конденсатор, ткач) усложняет систему и добавляет вычислительные накладные расходы по сравнению с обычной VLA-моделью. Результаты пока получены только в симуляции, неизвестно, как фреймворк поведёт себя на реальном роботе с шумными сенсорами и физическими ограничениями. В материале не сказано, публикуют ли авторы код или веса модели, что затрудняет независимую проверку заявленного превосходства над существующими подходами.