LongStraw: RL-обучение ИИ-агентов на контексте свыше 2 млн токенов при фиксированном бюджете GPU

Между длиной контекста, которую поддерживают системы инференса, и длиной контекста, на которой реально идёт RL-посттренировка (обучение с подкреплением после базового обучения) языковых моделей, растёт разрыв: системы инференса приближаются к миллионным контекстам, а RL-посттренировка обычно застревает на 256 тысячах токенов и ниже, полагаясь на то, что модель сама обобщит навык на более длинные контексты уже при развёртывании. Разрыв особенно критичен для ИИ-агентов: их наблюдения, вывод инструментов, документы и история прошлых решений накапливаются на длинных траекториях работы, и урезанный контекст обучения не отражает того, с чем агент реально столкнётся.

Авторы предлагают LongStraw, архитектурно-осведомлённый исполнительный стек для RL-посттренировки на промптах свыше миллиона токенов при фиксированном бюджете GPU, построенный поверх алгоритма групповой относительной оптимизации политики (Group Relative Policy Optimization, GRPO). Идея экономии памяти: общий (shared) промпт вычисляется без построения графа автоматического дифференцирования (autograd), из него сохраняется только то состояние, которое реально понадобится последующим токенам конкретной модели, а короткие ветки ответов «проигрываются» (replay) по одной, а не все сразу. Это уменьшает размер «живого» графа обучения в памяти ценой дополнительного времени на повторное проигрывание веток. Стек реализован для двух архитектур: гибридной Qwen3.6-27B, сочетающей рекуррентные и полновнимательные (full-attention) блоки, и GLM-5.2, смеси экспертов (mixture-of-experts, MoE) со сжатым вниманием.

В экспериментах на восьми GPU Nvidia H20 LongStraw доводит групповой скоринг и обратный проход (backward) для Qwen до 2,1 миллиона позиций при размере группы 2 и 8; увеличение размера группы добавляет всего 0,21 ГБ пиковой выделенной памяти, а в отдельном стресс-тесте достигнуты 4,46 миллиона позиций. На 32 GPU H20 авторы подтвердили сквозной (end-to-end) путь выполнения LongStraw для промпта длиной 2,1 миллиона токенов по всем 78 слоям GLM-5.2.

Авторы прямо оговаривают ограничение: эти эксперименты подтверждают именно исполнительную ёмкость (execution capacity) системы, то, что такие объёмы данных технически прогоняются через GPU в заданном бюджете памяти, а не полную корректность обучения. Захваченное состояние промпта отсоединено (detached) от графа вычислений, и часть путей распределённого прямого прохода и композиции градиентов пока не реализована полностью.

Ключевые факты

LongStraw, архитектурно-осведомлённый исполнительный стек для RL-посттренировки языковых моделей на промптах свыше 2 млн токенов при фиксированном бюджете GPU, построен на алгоритме GRPO
Экономит память: считает общий промпт без autograd, хранит только нужное конкретной модели состояние и проигрывает короткие ветки ответов по одной, ценой дополнительного времени на replay
Реализован для двух архитектур: гибридной рекуррентно-полновнимательной Qwen3.6-27B и смеси экспертов со сжатым вниманием GLM-5.2
На 8 GPU H20: до 2,1 млн позиций для групп 2 и 8 (рост группы добавляет лишь 0,21 ГБ памяти), в стресс-тесте, 4,46 млн позиций; на 32 GPU H20, сквозная проверка для промпта 2,1 млн токенов по всем 78 слоям GLM-5.2
Авторы честно указывают: подтверждена исполнительная ёмкость, а не полная корректность обучения, часть путей распределённого прохода и градиентов ещё не завершена

Почему это важно

Системы инференса уже подбираются к контекстам в миллион токенов, а RL-посттренировка обычно ограничена 256 тысячами токенов и ниже, модели приходится «додумывать» обобщение на длинный контекст уже после обучения, а не учиться на нём напрямую. Для ИИ-агентов это особенно болезненно: их рабочие траектории, наблюдения, вывод инструментов, документы, история решений, накапливаются на десятки и сотни тысяч токенов, и укороченный тренировочный контекст плохо отражает реальные условия работы. LongStraw закрывает именно этот разрыв, позволяя вести RL-обучение с помощью GRPO прямо на промптах длиной свыше 2 млн токенов, не увеличивая бюджет GPU.

Кому это важно

В первую очередь, командам, которые занимаются RL-дообучением больших языковых моделей и агентных систем с длинным контекстом, а также инженерам распределённого обучения, которые упираются в память GPU при масштабировании длины промпта. Тема актуальна и для разработчиков конкретных моделей: метод уже опробован на Qwen3.6-27B и GLM-5.2, то есть применим к разным типам архитектур, гибридной рекуррентно-полновнимательной и смеси экспертов.

Как это применить

Ключевой приём LongStraw, не считать общий (shared) промпт через полный граф автоматического дифференцирования (autograd), а сохранять только то состояние, которое реально понадобится последующим токенам конкретной модели, и проигрывать короткие ветки ответов по одной вместо одновременного удержания всех веток в памяти. Это снижает пиковую память ценой дополнительного времени на повторное проигрывание (replay). На практике авторы показывают: на 8 GPU H20 такой подход держит групповой скоринг и обратный проход при 2,1 млн позиций почти без роста памяти при увеличении группы, а на 32 GPU H20, прогоняет сквозной путь выполнения для промпта в 2,1 млн токенов по всем 78 слоям GLM-5.2.

Можно ли доверять

Результаты представлены как техническая демонстрация конкретной команды (первый автор, Changhai Zhou), с прозрачными цифрами по железу (8 и 32 GPU Nvidia H20) и числу позиций/токенов. Важно, что авторы сами очерчивают границы результата: эксперименты доказывают исполнительную ёмкость системы, то, что такие объёмы технически проходят через GPU в заданном бюджете памяти, а не полную корректность итогового RL-обучения.

Риски и подводные камни

Главная оговорка, из текста самой работы: захваченное состояние промпта отсоединено (detached) от графа вычислений, а часть путей распределённого прямого прохода и композиции градиентов ещё не реализована полностью, то есть это не готовый end-to-end тренировочный пайплайн. Эксперименты проведены на конкретной конфигурации железа (GPU H20, 8 и 32 штуки), перенос на другие GPU и кластеры не гарантирован. Работа также не сообщает данных о качестве самой модели после такого RL-обучения, речь только об инфраструктурной способности прогонять длинный контекст, а не о приросте качества агента.