Mosaic: метод обучения ИИ-агентов с подкреплением на многосессионных траекториях
Большинство существующих методов обучения ИИ-агентов с подкреплением (RL) исходят из того, что траектория укладывается в одну сессию: взаимодействие идёт в одном непрерывно накапливаемом контексте. Но приёмы вроде сжатия контекста (context compaction) и ветвления субагентов (subagent forking) могут порождать траектории, растянутые на несколько сессий. Возникает расхождение между тем, как агента обучают (одна сессия), и тем, как он работает при выводе.
Чтобы закрыть этот разрыв, авторы вводят постановку, которую называют Multi-Session Agentic Reinforcement Learning, многосессионное агентное обучение с подкреплением. Она допускает произвольное число сессий внутри одной траектории.
В этой постановке широко применяется простой подход: преимущество (advantage) всей траектории раздаётся всем её сессиям одинаково (broadcasting, «широковещательная раздача»). Недостаток, по словам авторов, в том, что он не различает вклад разных сессий и не подсказывает, как распределять сессии внутри траектории.
В ответ предлагается Mosaic, многосессионный метод агентного RL с иерархической оптимизацией без критика (critic-free). На уровне траектории он включает сигналы об использовании сессий в оценку преимущества. На уровне сессии он корректирует преимущество каждой сессии в соответствии с оценённым предельным (маргинальным) вкладом.
Эксперименты проведены на BrowseComp с моделью Qwen3.5-4B. По утверждению авторов, Mosaic превосходит широковещательную раздачу и в сценарии сжатия контекста, и в сценарии ветвления субагентов, причём в среднем использует меньше сессий. Дополнительный анализ, как пишут авторы, показывает улучшение полезности сессий и их распределения; это направление они считают перспективным для дальнейших продвижений в многосессионном агентном RL.
Ключевые факты
- Типичное обучение агентов с подкреплением предполагает одну сессию в траектории, а на практике сжатие контекста и ветвление субагентов дробят траекторию на несколько сессий.
- Авторы вводят постановку Multi-Session Agentic RL с произвольным числом сессий в траектории.
- Mosaic, метод без критика с двухуровневой оптимизацией: на уровне траектории учитывает использование сессий, на уровне сессии, их предельный вклад.
- На BrowseComp с Qwen3.5-4B Mosaic превзошёл широковещательную раздачу преимущества в сценариях сжатия контекста и ветвления субагентов, используя в среднем меньше сессий.
- Дополнительный анализ, по заявлению авторов, показал улучшение полезности и распределения сессий.
Почему это важно
Агенты, которые долго работают над задачей, всё чаще сжимают накопленный контекст или порождают субагентов. Тогда одна траектория состоит из нескольких сессий, а обучают таких агентов обычно так, будто сессия одна. Работа называет это расхождением между обучением и выполнением и предлагает постановку и метод, которые учитывают многосессионность напрямую.
Кому это важно
Исследователям и инженерам, которые обучают поисковых и долгоживущих ИИ-агентов с подкреплением и используют сжатие контекста или субагентов. Также тем, кто следит за тем, как оценивается вклад отдельных шагов и сессий при обучении.
Как это применить
Прямого практического рецепта в пересказе нет: это препринт с методом. Идея, которую можно взять на заметку, не раздавать одинаковое преимущество всем сессиям траектории, а учитывать использование сессий на уровне траектории и предельный вклад каждой сессии на уровне сессии. О публикации кода или моделей сведений нет.
Можно ли доверять
Все утверждения о превосходстве метода принадлежат самим авторам препринта и пока не подтверждены независимо. В описании не приведены числовые результаты, не указано, насколько меньше сессий использует метод, и названы лишь один бенчмарк (BrowseComp) и одна модель (Qwen3.5-4B). Оценивать силу результата по этому описанию трудно.
Риски и подводные камни
Эксперименты описаны только на одной небольшой модели и одном бенчмарке, поэтому перенос выводов на другие модели и задачи не показан. Сравнение идёт с широковещательной раздачей преимущества, а не с другими подходами. Без числовых значений нельзя судить о размере выигрыша.