Light-Omni: рефлекс вместо рассуждений в агентном понимании видео с долговременной памятью
Агенты для понимания видео с долговременной памятью должны самостоятельно обрабатывать непрерывные многочасовые мультимодальные потоки и отвечать на вопросы по ним. Современные видео-агенты для этого используют «детективный» стиль работы: итеративные рассуждения, за которыми следуют действия вроде поиска по архиву и сбор доказательств шаг за шагом. Авторы статьи показывают, что это дорого и медленно, и утверждают, что такие тяжёлые рассуждения нужны в первую очередь потому, что у моделей нет цельного глобального контекста и поиск по памяти плохо согласован по смыслу с самим вопросом.
В ответ предложен Light-Omni, фреймворк для рефлексивного, лёгкого понимания видео, который строит нужный контекст за один проход модели вперёд (без циклов рассуждений). Работает это на двух состояниях. Первое, глобальное состояние: компактный мультимодальный «сценарий» ограниченного размера, который непрерывно пополняется из эпизодической памяти. За счёт иерархического слияния он сохраняет детали недавних событий и одновременно сжимает в резюме то, что произошло раньше. Второе, параметрическое латентное состояние, которое формируется на основе этого глобального контекста и напрямую запускает действия агента и генерирует эмбеддинги для поиска, с минимальной задержкой.
Благодаря такой связке Light-Omni добивается семантически согласованного поиска и рефлексивных (мгновенных) ответов, не прибегая к итеративным рассуждениям. Эксперименты на нескольких видео-бенчмарках показывают: по сравнению с системой M3-Agent Light-Omni даёт в среднем на 2,4% выше точность, ускорение работы в 12,1 раза и в 2,6 раза эффективнее расходует память GPU. Кроме того, Light-Omni можно использовать как отдельный модуль памяти, встраиваемый в существующие мультимодальные большие языковые модели (MLLM), повышая при этом и их качество, и скорость работы. У проекта есть отдельная страница с материалами.
Ключевые факты
- Проблема: видео-агенты с долговременной памятью обычно используют затратные итеративные рассуждения (поиск + сбор доказательств шаг за шагом), что дорого и медленно
- Решение Light-Omni: два состояния, глобальное (компактный мультимодальный «сценарий» из эпизодической памяти с иерархическим слиянием деталей и сжатием прошлого) и параметрическое латентное (формируется за один проход, запускает действия и поиск)
- Результат на видео-бенчмарках: точность выше на 2,4% в среднем по сравнению с M3-Agent, ускорение в 12,1 раза, экономия памяти GPU в 2,6 раза
- Light-Omni может работать как модуль памяти, встраиваемый в уже существующие мультимодальные модели, повышая их качество и скорость
- У статьи есть отдельная страница проекта с дополнительными материалами (автор, Chang Nie)
Почему это важно
Агентные системы, которые должны понимать длинные видеопотоки в реальном времени (наблюдение, ассистенты, анализ трансляций), упираются в цену итеративных рассуждений: каждый шаг поиска и сверки доказательств, это отдельный дорогой вызов модели. Light-Omni показывает, что часть этой цены можно убрать, если дать модели изначально согласованный глобальный контекст вместо бесконечных уточняющих итераций, то есть переход от «рассуждай долго» к «сразу знай».
Кому это важно
Работа адресована тем, кто строит системы понимания видео и мультимодальных агентов с долговременной памятью: разработчикам ИИ-ассистентов для видео, авторам мультимодальных LLM, инженерам, которым важны задержка и стоимость инференса при работе с длинными потоками данных.
Как это применить
Авторы предлагают Light-Omni не только как самостоятельный агент, но и как встраиваемый модуль памяти для уже существующих мультимодальных моделей, то есть его можно подключать поверх готовых MLLM, чтобы одновременно повысить и точность, и скорость их работы с длинным видеоконтекстом. Детали реализации и код заявлены на отдельной странице проекта.
Можно ли доверять
Это научная публикация с воспроизводимыми экспериментами на нескольких видео-бенчмарках и прямым количественным сравнением с конкретной системой-бейзлайном (M3-Agent): указаны цифры по точности, скорости и памяти GPU, а не общие заявления. На момент публикации материал набрал скромные 15 баллов и 2 комментария, независимой проверки сообществом пока немного.
Риски и подводные камни
Заявленные выигрыши измерены на ограниченном наборе бенчмарков и относительно одного конкретного конкурента (M3-Agent), не факт, что преимущество сохранится на более разнообразных или открытых задачах. Сама идея «сжимать прошлое в резюме» через иерархическое слияние подразумевает потенциальную потерю деталей давних событий ради компактности, авторы говорят о балансе, но не о его пределах. Это ранняя исследовательская работа без независимого воспроизведения третьими сторонами.