Cola2: иерархическая модель текста обошла Llama-3-8B на двух тестах

Препринт описывает Cola2, фреймворк иерархической генерации текста. Идея в том, что непрерывное моделирование смысла отделяется от дискретной «сборки» самого текста. Авторы отмечают, что успех такого подхода зависит от двух вещей: что именно сжимает скрытое (латентное) пространство и как дискретный генератор им пользуется. Cola2 совместно исследует три вопроса: непрерывное семантическое сжатие, баланс между реконструкцией и генерацией и взаимную адаптацию непрерывной и дискретной частей.

Устройство системы по описанию авторов. Текст динамически делится на смысловые фрагменты (span), а степень сжатия регулируется отрицательной обратной связью без вспомогательной функции потерь. Скрытые представления обучаются сразу на двух видах сигнала, реконструкции и генерации, чтобы быть компактными и предсказательными. Дискретный текст порождает блочно-каузальный маскированный диффузионный декодер: его обучают на чистых, зашумлённых и отброшенных латентных условиях, а баланс между смысловой реконструкцией и самостоятельной генерацией настраивается через classifier-free guidance. Градиенты предсказания токенов обновляют энкодер через латенты, тогда как обучение априорного распределения методом Flow Matching отделено от обучения представлений с помощью stop-gradient. При выводе сгенерированный текст заново кодируется с фиксированной разметкой фрагментов, чтобы история латентов оставалась согласованной с реальным текстовым контекстом.

Результаты. Эксперименты на пяти downstream-задачах с примерно 210 млрд обучающих токенов, по словам авторов, подтверждают ключевые проектные решения и показывают конкурентное, ещё не насытившееся масштабирование. Недообученный (unconverged) чекпойнт, обученный на 346,03 млрд исходных токенов, набирает в среднем 60,10 по восьми задачам и превосходит Llama-3-8B на HellaSwag и StoryCloze. При этом заявленный бюджет предобучения Llama-3-8B более чем в 43 раза больше. Авторы делают осторожный вывод: результаты демонстрируют потенциал иерархической генерации языка на непрерывных латентах.

Ключевые факты

Cola2 разделяет непрерывное моделирование смысла и дискретную генерацию текста: текст динамически делится на смысловые фрагменты, степень сжатия регулируется отрицательной обратной связью.
Дискретный текст порождает блочно-каузальный маскированный диффузионный декодер; баланс реконструкции и самостоятельной генерации настраивается через classifier-free guidance.
Недообученный чекпойнт на 346,03 млрд исходных токенов даёт среднее 60,10 по восьми задачам (метрика в источнике не указана).
Чекпойнт превосходит Llama-3-8B на HellaSwag и StoryCloze, хотя заявленный бюджет предобучения Llama-3-8B более чем в 43 раза больше.
Ключевые решения проверены на пяти задачах при примерно 210 млрд обучающих токенов; авторы говорят о «потенциале» подхода, а не о его превосходстве.

Почему это важно

Cola2, двухуровневая схема генерации текста: сначала непрерывное представление смысла, затем дискретная реализация диффузионным декодером. Заявленный результат интересен соотношением затрат: недообученный чекпойнт на 346,03 млрд токенов обходит Llama-3-8B на HellaSwag и StoryCloze при бюджете предобучения конкурента, по заявлению авторов, более чем в 43 раза большем. Авторы также отмечают конкурентное и ненасыщенное масштабирование.

Кому это важно

Прежде всего исследователям языковых моделей, которые работают с латентными представлениями, диффузионной генерацией текста и гибридами непрерывного и дискретного подходов. Практикам стоит отнестись к работе как к ранней демонстрации идеи: в источнике нет ни размера модели, ни сведений о доступности кода или весов.

Как это применить

Сейчас, как материал для чтения и источник идей: сжатие текста в смысловые фрагменты с управляемой степенью, совместное обучение на реконструкции и генерации, повторное кодирование сгенерированного текста при выводе. В источнике нет данных о выпуске кода, весов или цены использования, поэтому воспроизвести результат по этому описанию нельзя.

Можно ли доверять

Это препринт, представленный на Hugging Face Papers; все утверждения принадлежат самим авторам. Сравнение с Llama-3-8B ограничено двумя тестами, HellaSwag и StoryCloze: нет утверждения, что Cola2 лучше на остальных задачах или по среднему. Метрика среднего 60,10 и список восьми задач, кроме двух названных, не указаны; отдельных оценок по тестам нет. Бюджет предобучения Llama-3-8B назван «заявленным» без точной цифры, и не сказано, одинаковы ли условия оценки.

Риски и подводные камни

Цифры в источнике приведены без таблиц и разбивки по задачам, поэтому величину преимущества оценить нельзя. Нет сведений о числе параметров, скорости вывода, задержке и вычислительной стоимости, так что сравнение «по токенам» не равно сравнению по затратам. Результат относится к недообученному чекпойнту; как поведёт себя модель при полном обучении и на других задачах, неизвестно. Сам вывод авторов осторожен: это демонстрация потенциала подхода.