RL-дообучение диффузионных трансформеров оказалось фиксированным сдвигом активаций

Обучение с подкреплением (RL) после основного обучения заметно улучшает качество картинок, отрисовку текста и точность композиции у диффузионных трансформеров. Раз такие умения зависят от запроса (написать нужный текст, собрать несколько объектов), логично предположить, что для них нужны сложные преобразования, зависящие от входа. Авторы статьи проверяют это предположение намеренно простой конструкцией: к выходам блоков замороженной базовой модели прибавляется фиксированный набор векторов сдвига (steering vectors). Они одинаковы для любого запроса, токена и зерна генерации.
Векторы не обучают на награде: их подгоняют так, чтобы они повторяли предсказания скорости (velocity) у публичных RL-дообученных чекпойнтов. На SD3.5-M такой набор содержит 0,29 млн параметров против 18,8 млн у RL-дообученной LoRA, то есть в 65 раз меньше.
Несмотря на это, векторы возвращают 90,0-96,3% прироста по награде у шести RL-дообученных моделей изображений, а на двух RL-дообученных видеомоделях, 89,8% и 111,9% (последняя цифра выше самого RL-прироста). Процент здесь считается от прироста каждой RL-модели, а не от абсолютной оценки.
Отдельный эксперимент: векторы, инициализированные нулями и обученные онлайн-RL, в одиночку превосходят прирост от RL по весам на отрисовке текста (метрика OCR) и человеческих предпочтениях (PickScore) на SD3.5-M.
Вывод авторов: постоянный сдвиг даёт большую часть выигрыша от RL по градиенту политики. Без новых преобразований, зависящих от входа, он направляет предобученный генератор к тому, что тот уже умеет вычислять.
Ключевые факты
- К выходам блоков замороженной диффузионной модели прибавляют фиксированный набор векторов сдвига, одинаковый для любого запроса, токена и зерна генерации.
- На SD3.5-M у векторов 0,29 млн параметров против 18,8 млн у RL-дообученной LoRA, в 65 раз меньше.
- Векторы возвращают 90,0-96,3% прироста по награде у шести RL-дообученных моделей изображений и 89,8% и 111,9% у двух видеомоделей.
- Векторы подгоняют под предсказания скорости публичных RL-чекпойнтов, награда в целевой функции не участвует.
- Обученные онлайн-RL с нуля, векторы в одиночку превосходят RL по весам на OCR и PickScore на SD3.5-M.
Почему это важно
Распространено мнение, что RL-дообучение учит диффузионные модели сложным умениям, зависящим от запроса: отрисовке заданного текста, композиции нескольких объектов. Статья показывает, что большую часть выигрыша даёт постоянный, не зависящий от входа сдвиг активаций. По выводу авторов, он направляет предобученный генератор к тому, что тот уже умеет вычислять, а не добавляет ему новые преобразования.
Кому это важно
Тем, кто занимается пост-обучением диффузионных моделей для изображений и видео, и исследователям, которые изучают, что именно меняет RL в генеративных моделях. Для практиков важен масштаб: 0,29 млн параметров против 18,8 млн у LoRA на SD3.5-M.
Как это применить
Из аннотации следует схема: взять замороженную базовую модель, добавить к выходам блоков фиксированные векторы и либо подогнать их под предсказания скорости готового RL-чекпойнта (без награды), либо обучить с нуля онлайн-RL. Упоминаний о выпуске кода, затратах вычислений и времени обучения в тексте нет, поэтому оценить стоимость повторения нельзя.
Можно ли доверять
Это препринт, а мы видим только аннотацию на странице Hugging Face Papers. Все цифры, заявления самих авторов; сторонней проверки в тексте нет. Авторы и организации в тексте не названы. Названия моделей, кроме SD3.5-M, тоже не приведены, как и метрики наград за диапазоном 90,0-96,3%.
Риски и подводные камни
Показатель 111,9% на видеомодели означает превышение RL-прироста, но это одна из двух видеомоделей, а диапазон для изображений ограничен 96,3%. Сравнение числа параметров (0,29 млн против 18,8 млн) дано только для SD3.5-M. Размер превосходства векторов над RL по весам на OCR и PickScore в тексте не указан. Проценты отсчитываются от прироста RL-моделей, а не от абсолютного качества.