ИИтог

ReCoLoRA: рекурсивная консолидация LoRA-адаптеров с учётом спектра весов для последовательного дообучения LLM

исследованияРедакция ИИтогarXiv🔥78Рейтинг ИИтог · значимость 69 · 1000000/ч

LoRA (low-rank adaptation, дообучение через низкоранговые матрицы), стандартный способ дёшево дообучать большую языковую модель под конкретную задачу, не трогая все её веса. Проблема возникает, когда модель дообучают последовательно на цепочке разных задач: LoRA-подобные методы просто добавляют новый низкоранговый адаптер поверх того же замороженного веса, и каждая следующая задача постепенно затирает то, что модель усвоила на предыдущих (эффект забывания).

Авторы предлагают ReCoLoRA (Recursive Consolidation of Low-Rank Adapters, рекурсивная консолидация низкоранговых адаптеров), фреймворк, который учитывает спектральную структуру весов. Адаптеры инициализируются через рандомизированное сингулярное разложение (SVD) исходного веса модели; эффективный ранг для каждого слоя подбирается автоматически по критерию "локтя" (elbow criterion); сначала дообучается главное (принципиальное) подпространство весов, и только потом открывается доступ к остаточной ёмкости. Ключевая идея, перед каждой новой задачей ReCoLoRA заново раскладывает не исходный, а уже текущий эффективный вес модели на три части: замороженный остаток, медленно обновляемую главную компоненту и свежий адаптер под новую задачу. Так каждая следующая задача стартует уже от модели, впитавшей опыт всех предыдущих, а не конкурирует с их адаптерами.

Метод проверили на последовательности из шести задач бенчмарка GLUE (набор тестов на понимание языка) на четырёх базовых моделях с 7-8 млрд параметров. ReCoLoRA показал лучший итоговый средний результат на трёх из четырёх моделей по сравнению с LoRA, PiSSA, AdaLoRA и DoRA (при переборе разных значений ранга для каждого базового метода), при этом обучая меньше параметров. Отдельно приведён "оракульный" вариант с маршрутизацией по банку задач (полная изоляция задач друг от друга), он служит верхней теоретической границей качества, а не практическим решением. Код опубликован на GitHub (bhqy666/ReCoLoRA).

Ключевые факты

  • ReCoLoRA, метод последовательного (continual) дообучения LLM через LoRA-адаптеры, снижающий забывание предыдущих задач
  • Адаптер инициализируется рандомизированным SVD весов; ранг каждого слоя подбирается автоматически по критерию "локтя"
  • Перед каждой новой задачей текущий (а не исходный) эффективный вес заново раскладывается на замороженный остаток, главную компоненту и новый адаптер
  • На 6 задачах GLUE и 4 базовых моделях 7-8 млрд параметров ReCoLoRA обошёл LoRA, PiSSA, AdaLoRA и DoRA на 3 из 4 моделей при меньшем числе обучаемых параметров
  • Код открыт на GitHub (bhqy666/ReCoLoRA)

Почему это важно

LoRA стал де-факто стандартом дешёвого дообучения больших моделей под задачу, но при последовательном дообучении на цепочке задач классический подход, просто добавлять новый адаптер поверх старого замороженного веса, приводит к тому, что каждая новая задача частично затирает то, что модель усвоила на предыдущих. ReCoLoRA предлагает не аддитивную, а рекурсивную схему: перед обучением на новой задаче модель заново раскладывает свой текущий (уже накопивший опыт) вес на компоненты, вместо того чтобы конкурировать новым адаптером со старыми.

Кому это важно

Инженерам и исследователям, которые дообучают LLM (модели класса 7-8 млрд параметров) последовательно на разных задачах или доменах без полного переобучения с нуля, а также командам, строящим системы с постоянным дообучением на поступающих новых данных, где важно не терять качество на старых задачах.

Как это применить

Подход проверен на цепочке из шести задач бенчмарка GLUE на четырёх базовых моделях 7-8 млрд параметров; код открыт на GitHub (bhqy666/ReCoLoRA), что позволяет воспроизвести схему: инициализация адаптера через рандомизированное SVD, автоматический подбор ранга по критерию "локтя", обучение сначала главного подпространства весов, затем остаточной ёмкости, и повторная декомпозиция эффективного веса перед каждой новой задачей.

Можно ли доверять

Это препринт arXiv без указания на рецензирование, и на момент публикации у материала нет откликов сообщества (0 очков, 0 комментариев). В плюс, сравнение с четырьмя признанными базовыми методами (LoRA, PiSSA, AdaLoRA, DoRA) с перебором рангов для каждого, а не только с одной конфигурацией, и открытый код для проверки результатов.

Риски и подводные камни

Улучшение показано не на всех моделях, лучший результат достигнут только на трёх базовых моделях из четырёх, то есть выигрыш не универсален. GLUE, стандартный, но не самый сложный и не самый актуальный бенчмарк для современных LLM, поэтому перенос результатов на более длинные последовательности задач или на реальные продуктовые сценарии не гарантирован. Приведённый в статье "оракульный" вариант с полной изоляцией задач, это верхняя теоретическая граница, недостижимая на практике, и её не стоит путать с реальными показателями метода.