Представлен PLatour: на части задач выигрыш связки моделей не от связи

В препринте на arXiv рассматривается подход PACT (Prefill-to-Autoregressive Cross-model Transfer). Это форма «скрытой» (латентной) коммуникации между языковыми моделями: внутренние представления промпта, посчитанные более крупной моделью, объединяются с эффективной генерацией ответа более малой моделью. По словам авторов, это перспективный способ сбалансировать возможности модели и стоимость её запуска (инференса).

Авторы отмечают проблему: существующие системы слабо поддерживают независимую оценку такого сотрудничества большой и малой моделей, а рост качества на задачах сам по себе не доказывает, что принимающая модель (получатель) действительно использует информацию отправителя.

Для этого они представляют PLatour, открытый фреймворк для PACT. Он соединяет замороженные модели лёгкими линейными «мостами» с нулевой инициализацией; мосты обучаются напрямую на вознаграждениях за выполнение задач. Фреймворк поддерживает архитектуры с гибридным вниманием. По утверждению авторов, PLatour заметно превосходит открытые базовые решения на задачах генерации и обходит опубликованные результаты системы Mostik на общих математических и программистских бенчмарках, при этом используя существенно меньшего отправителя.

Однако контролируемые эксперименты показали важную оговорку: выигрыш на некоторых задачах можно воспроизвести неинформативными сигналами от отправителя, «общением с самим собой» (self-communication) или обучением только получателя. Выходит, что обучаемые мосты могут работать просто как параметрически эффективный способ дообучения и вовсе не использовать полезную информацию от отправителя.

Поэтому авторы предлагают PACT-Check, метод, который измеряет, какая доля выигрыша обученной PACT-системы действительно приходится на коммуникацию. В конце статьи обсуждаются возможности и сложности таких систем. Код опубликован на GitHub (zhenyi4/platour).

Ключевые факты

  • PACT объединяет представления промпта от более крупной модели с генерацией более малой модели, чтобы совместить качество и стоимость инференса.
  • PLatour, открытый фреймворк: замороженные модели соединены линейными мостами с нулевой инициализацией, обучаемыми на вознаграждениях за задачи; поддерживаются архитектуры с гибридным вниманием.
  • Авторы заявляют, что PLatour заметно превосходит открытые базовые решения на задачах генерации и обходит опубликованные результаты Mostik на общих математических и программистских бенчмарках с существенно меньшим отправителем.
  • На некоторых задачах тот же выигрыш воспроизводится неинформативными сигналами отправителя, самокоммуникацией или обучением только получателя.
  • Для оценки реального вклада коммуникации предложен метод PACT-Check; код открыт на GitHub.

Почему это важно

Идея связки большой и малой моделей привлекательна: большая читает запрос, малая быстро генерирует ответ, и стоимость запуска падает. Работа указывает на слабое место таких систем: рост качества ещё не означает, что малая модель что-то получила от большой. Часть эффекта может давать обычное дообучение мостов. Предложенный PACT-Check нацелен на то, чтобы отличать одно от другого.

Кому это важно

Исследователям и инженерам, которые работают над сотрудничеством нескольких моделей, межмодельной передачей информации и снижением стоимости инференса. Тем, кто сравнивает такие системы между собой, полезна сама мысль о контрольных экспериментах: неинформативный сигнал, самокоммуникация, обучение только получателя.

Как это применить

Код PLatour открыт (GitHub, zhenyi4/platour), так что подход можно воспроизвести и проверить на своих моделях. При оценке собственной связки моделей разумно прогонять контрольные варианты из статьи и использовать PACT-Check, чтобы понять, откуда берётся прирост. Подробности работы PACT-Check в доступном тексте аннотации не раскрыты.

Можно ли доверять

Это препринт на arXiv, и в тексте аннотации числовых результатов нет: заявления о превосходстве над открытыми базовыми решениями и над результатами Mostik даны словами самих авторов и требуют проверки по полному тексту и коду. Показательно, что авторы сами указывают на ограничение своих результатов: на некоторых задачах выигрыш объясним без полезной информации от отправителя.

Риски и подводные камни

Главный риск, принять выигрыш от обучаемых мостов за настоящую передачу знаний между моделями: мосты могут просто дообучать получателя. Выводы касаются «некоторых задач», а не всех, поэтому переносить их на другие задачи и пары моделей без проверки нельзя. Сравнение с Mostik опирается на опубликованные результаты этой системы.