SEED: новый метод обучения ИИ-агентов извлекать уроки из своих же попыток
Исследователь Jinyang Wu и соавторы опубликовали статью о методе SEED (SElf-Evolving On-Policy Distillation, самоэволюционирующая дистилляция на собственной политике) для обучения языковых моделей, работающих как агенты в долгих многошаговых задачах: с несколькими репликами диалога, вызовом инструментов и обратной связью от среды.
Проблема, которую решает SEED: агентов обычно обучают методом обучения с подкреплением (RL) по итоговому результату всей попытки (выполнена задача или нет). Но такая награда «за конец эпизода» почти не подсказывает модели, какие именно промежуточные решения были правильными или ошибочными, получается разрыв между общим результатом и обучением на уровне отдельных токенов/шагов.
SEED устраняет этот разрыв так: сначала политику (саму модель-агента) дообучают анализировать уже завершённые попытки (траектории) и формулировать из них естественноязыковые «навыки», переиспользуемые описания рабочих процессов, ключевых наблюдений или правил, как избежать конкретной ошибки. Во время самого обучения с подкреплением текущая модель выполняет две роли одновременно: собирает новые попытки и сама же анализирует их, извлекая эти навыки-уроки. Поскольку модель обновляется в процессе обучения, качество и её решений, и её же анализа растёт параллельно, «навыки» эволюционируют вместе с политикой, отсюда «self-evolving» в названии.
Далее SEED заново оценивает вероятность тех же действий модели в двух вариантах, как есть и «с подсказкой» в виде извлечённого навыка, и превращает сдвиг вероятности между этими вариантами в плотный (то есть детальный, на уровне каждого токена, а не только в конце эпизода) сигнал для обучения методом дистилляции на собственной политике (on-policy distillation). Этот сигнал добавляется к обычному RL-обучению по итоговому результату и постоянно подстраивается под то, как именно модель ведёт себя прямо сейчас.
Авторы проверили метод на текстовых и визуальных агентных задачах и сообщают, что SEED стабильно повышает итоговое качество работы агента и эффективность обучения (то есть агент достигает того же или лучшего результата за меньшее число попыток), а также лучше обобщается на новые, не встречавшиеся при обучении сценарии. Код метода выложен в открытый доступ на GitHub (jinyangwu/SEED).
Ключевые факты
- SEED (SElf-Evolving On-Policy Distillation), метод обучения ИИ-агентов с подкреплением для многошаговых задач с инструментами и обратной связью от среды
- Модель дообучают анализировать собственные завершённые попытки и извлекать из них текстовые «навыки», переиспользуемые правила и наблюдения
- Во время обучения модель одновременно собирает новые попытки и анализирует их сама, навыки эволюционируют вместе с политикой
- Сдвиг вероятности действий «с навыком» и «без навыка» превращается в плотный token-level сигнал обучения, который добавляется к обычной RL-награде
- На текстовых и визуальных агентных задачах метод повышает качество и эффективность обучения, а также обобщение на новые сценарии; код открыт на GitHub
Почему это важно
Стандартное обучение с подкреплением для ИИ-агентов даёт модели только один сигнал в конце всей попытки, «получилось» или «не получилось». Это очень скудная подсказка для длинных задач с десятками промежуточных шагов: модель не понимает, какое именно решение внутри цепочки было верным. SEED предлагает способ извлекать из уже пройденных попыток более детальную, пошаговую обратную связь, без дополнительной ручной разметки, автоматически, силами самой обучаемой модели.
Кому это важно
В первую очередь исследователям и инженерам, которые занимаются обучением ИИ-агентов, систем, самостоятельно выполняющих многошаговые задачи с вызовом инструментов (поиск, код, работа с файлами и так далее). Метод адресует конкретную техническую проблему обучения с подкреплением, а не конечным пользователям готовых продуктов.
Как это применить
Авторы выложили код на GitHub (jinyangwu/SEED), так что исследовательские команды могут воспроизвести метод и опробовать его на своих агентных задачах, как текстовых, так и визуальных. Судя по описанию, SEED встраивается как дополнение к уже существующему пайплайну RL-обучения, а не требует полностью новой инфраструктуры.
Можно ли доверять
Это научная публикация с открытым кодом, что позволяет независимо проверить заявленные результаты. Авторы сообщают об экспериментах на нескольких типах агентных задач (текстовых и визуальных), но конкретные числовые показатели прироста качества в доступном тексте не приведены, судить о масштабе улучшения по одному только описанию метода стоит осторожно, до появления независимых воспроизведений или бенчмарков.
Риски и подводные камни
Метод добавляет модели дополнительную роль, она должна не только действовать, но и анализировать собственные попытки, что увеличивает вычислительную нагрузку на обучение. Также остаётся открытым вопрос, насколько качество извлекаемых «навыков» зависит от размера и возможностей базовой модели, для более слабых моделей самоанализ собственных ошибок может быть менее надёжным.