Представлен Octopus: ветви одной модели делят KV-кэш и дают 49,6% на BrowseComp-Plus
В препринте на arXiv описан Octopus: фреймворк мультиагентного обучения с подкреплением (RL), в котором все потоки (ветви рассуждения) работают на одной общей модели. Потоки координируются через направленный ациклический граф (DAG) состояний KV-кэша, который целиком лежит в памяти GPU. Управление строится на пяти примитивах: fork (ответвить поток), read_thread (прочитать результат другого потока), wait_threads (дождаться потоков), rewind (откатиться) и commit (зафиксировать результат).
Исходная проблема, по словам авторов, в том, что мультиагентные LLM-системы исследуют задачу параллельно, порождая субагентов с изолированными контекстными окнами, тогда как одноагентные системы добавляют каждый шаг поиска и проверки в одну растущую траекторию. Но существующие мультиагентные фреймворки дублируют префиксные KV-кэши между ветвями, обмениваются находками через повторную обработку текстовых резюме (re-prefill) и при обучении с подкреплением сплющивают или теряют зависимости между ветвями.
Octopus объединяет три согласованных механизма. Первый, Zero-Copy Radix Forking, создаёт ветви как «курсорные представления» за O(1) поверх общих физических страниц KV-кэша, то есть без копирования. Второй, Attention-Only KV Mounting, подключает завершающие KV-блоки соседнего потока прямо в слои полного внимания, минуя линейно-рекуррентные состояния (Gated DeltaNet / Mamba-2). По данным авторов, это снижает «угон» задачи (off-task hijacking) в 21 раз, с 57,9% до 2,7%, и сохраняет 92,2% взаимной информации полного текста без дополнительного выделения KV-памяти. Третий, Packed DAG-GRPO Trainer, упаковывает все ветви эпизода в один проход блочно-разреженного внимания и распределяет контрфактический вклад ветвей через предельные награды по схеме «исключи одну ветвь».
Модель обучали сквозным образом методом GRPO на Qwen3.5-4B с разреженным корпусом BM25. Результаты: 49,6% точности на BrowseComp-Plus, то есть на 17,5 п. п. выше одноагентного GRPO при контексте 143K и на 12,5 п. п. выше мультиагентного RL с текстовыми резюме; 51,2% на OpenResearcher. Авторы утверждают, что Octopus превосходит агентов с плотным поиском (dense retrieval), которые крупнее до 250 раз, при этом пропускная способность обучения выросла в 3,3 раза, а пиковая память под KV-кэш снизилась в 2,8 раза.
Ключевые факты
- Octopus: все потоки используют одну модель и координируются через DAG состояний KV-кэша на GPU с пятью примитивами (fork, read_thread, wait_threads, rewind, commit).
- Обучение GRPO на Qwen3.5-4B даёт 49,6% на BrowseComp-Plus (+17,5 п. п. к одноагентному GRPO при контексте 143K, +12,5 п. п. к мультиагентному RL с текстовыми резюме) и 51,2% на OpenResearcher.
- Attention-Only KV Mounting снижает «угон» задачи в 21 раз (с 57,9% до 2,7%) и сохраняет 92,2% взаимной информации полного текста.
- Пропускная способность обучения выросла в 3,3 раза, пиковая память под KV-кэш снизилась в 2,8 раза.
- Авторы заявляют превосходство над агентами с плотным поиском, крупнее до 250 раз.
Почему это важно
Параллельные субагенты дороги: каждая ветвь копирует префиксный KV-кэш, а находки передаются текстовыми резюме, которые приходится заново прогонять через модель. Octopus пытается убрать оба расхода, деля физические страницы кэша между ветвями и передавая результаты на уровне состояний внимания. Если заявленные цифры подтвердятся, то модель в 4 млрд параметров с таким устройством способна обгонять заметно более крупных агентов на задачах поиска и исследования в сети.
Кому это важно
Исследователям агентных систем и обучения с подкреплением для LLM, а также инженерам, которые занимаются инференсом и обучением с длинным контекстом: работа затрагивает управление KV-кэшем, разреженное внимание и гибридные архитектуры с линейной рекуррентностью (Gated DeltaNet, Mamba-2).
Как это применить
Это научный препринт, а не готовый продукт. Прямого применения для конечного пользователя нет. Для практиков полезны идеи: ветвление без копирования KV-страниц, подключение KV-блоков соседнего потока только в слои полного внимания и обучение сразу всех ветвей эпизода в одном проходе с наградой «исключи одну ветвь». Выпуск кода или весов в тексте аннотации не упоминается.
Можно ли доверять
Все цифры взяты из аннотации препринта и описывают результаты самих авторов. Статус рецензирования в тексте не указан. Абсолютная точность базовых методов не приводится, только разрывы в пунктах. Не сказано, какие именно агенты с плотным поиском крупнее в 250 раз, и по сравнению с какой базой посчитаны ускорение обучения в 3,3 раза и экономия памяти в 2,8 раза. Для оценки надёжности нужен полный текст статьи и независимое воспроизведение.
Риски и подводные камни
Заявленное превосходство над агентами крупнее до 250 раз зависит от выбранных бенчмарков (BrowseComp-Plus, OpenResearcher) и от разреженного корпуса BM25, поэтому переносить его на другие задачи нельзя. Механизм монтирования KV привязан к архитектуре с полным вниманием и линейно-рекуррентными слоями, а общий граф состояний на GPU усложняет систему. Данные о железе, времени и стоимости обучения в тексте не названы.