Метод LARC учит мультимодальные нейросети рассуждать в непрерывном пространстве перед генерацией картинок
Объединённые мультимодальные модели (Unified Multimodal Models, UMM) хорошо справляются с пониманием и генерацией разных типов данных, но, как пишут авторы статьи, им плохо удаётся использовать цепочку рассуждений на языке (chain-of-thought) для генерации изображений. Из-за этого существующие UMM с рассуждениями часто не наследуют два свойства больших языковых моделей: масштабирование на этапе вывода (test-time scaling, когда больше вычислений при ответе даёт лучший результат) и тонкую управляемость.
Причину авторы видят в несоответствии модальностей: рассуждение идёт в дискретном пространстве токенов, а генерация изображения работает в непрерывном пространстве. Чтобы преодолеть разрыв, они предлагают LARC (Latent Reasoning framework in Continuous space), фреймворк латентных рассуждений в непрерывном пространстве. Он снимает «токенное» узкое место: модель рассуждает над непрерывными скрытыми состояниями, а не над последовательностью слов.
Обучение проходит в два этапа. Сначала идёт curriculum supervised fine-tuning (SFT): дообучение с учителем по нарастающей сложности, в ходе которого рассуждение на уровне токенов постепенно превращается в латентное. Затем следует information-gain reinforcement learning (RL): обучение с подкреплением на приросте информации, на котором латентное рассуждение «самоэволюционирует» без разметки с эталонными ответами (ground truth).
По заявлению авторов, на разных бенчмарках генерации изображений по тексту LARC стабильно улучшает качество генерации, следование промпту и композиционную точность. На GenEval метод показывает результат уровня state-of-the-art (лучший из известных авторам) с приростом 7 процентных пунктов к BAGEL. Кроме того, у LARC заметно масштабирование на этапе вывода: метод превосходит генерацию на токенах и при параллельной, и при последовательной стратегиях такого масштабирования.
Ключевые факты
- LARC (Latent Reasoning framework in Continuous space) переносит рассуждение мультимодальной модели из дискретных токенов в непрерывные скрытые состояния.
- Авторы объясняют слабость прежних подходов несоответствием модальностей: рассуждение в токенах, а генерация изображения в непрерывном пространстве.
- Обучение двухэтапное: curriculum SFT постепенно превращает токенное рассуждение в латентное, затем RL на приросте информации развивает его без эталонной разметки.
- Заявлен лучший результат на GenEval: плюс 7 процентных пунктов к BAGEL.
- LARC, по словам авторов, лучше токенной генерации при параллельном и последовательном масштабировании на этапе вывода.
Почему это важно
Рассуждение перед генерацией помогает языковым моделям, но для изображений перенести этот приём пока не удавалось: по словам авторов, UMM с рассуждениями не наследуют масштабирование на этапе вывода и тонкую управляемость. LARC предлагает объяснение (разные пространства рассуждения и генерации) и способ обойти проблему, латентные рассуждения в непрерывном пространстве. Если заявленный прирост подтвердится независимо, это направление может стать практичной альтернативой рассуждениям словами при генерации картинок.
Кому это важно
Прежде всего исследователям мультимодальных и генеративных моделей, работающим над UMM, рассуждениями перед генерацией изображений и обучением с подкреплением. Практикам стоит следить за результатами как за сигналом о направлении: готового продукта в аннотации нет.
Как это применить
Напрямую применить пока нечего: в аннотации не названы ни код, ни веса, ни планы релиза. Из работы можно взять идею: постепенно (по нарастающей сложности) заменять токенное рассуждение латентным, а затем доучивать модель обучением с подкреплением на приросте информации без эталонной разметки. Для оценки метода стоит дождаться полного текста статьи и воспроизведения.
Можно ли доверять
Все утверждения в пересказе, заявления самих авторов из аннотации препринта. Названия авторов и организаций в тексте не указаны, абсолютные значения GenEval для LARC и BAGEL не приведены, а только прирост в 7 процентных пунктов (абсолютная разница, а не доля от результата BAGEL). Не указано, какой вариант BAGEL использовался, и не названы остальные бенчмарки. Размер выигрыша от масштабирования на этапе вывода не оценён в числах. Независимой проверки нет.
Риски и подводные камни
Сравнение дано одним числом и без деталей: неизвестны вариант и размер BAGEL, остальные бенчмарки и абсолютные баллы. Не приведены размер модели, данные обучения и вычислительные затраты, поэтому нельзя судить, насколько честно сравнение. Вывод о «несоответствии модальностей» как причине слабости прежних подходов, гипотеза авторов. Лучший результат на GenEval отражает только этот бенчмарк и не гарантирует выигрыш во всех сценариях.