Диффузионные трансформеры научили сэмплированию Томпсона с негауссовскими приорами
Сэмплирование Томпсона (Thompson sampling), естественная рандомизированная стратегия для оптимизации неизвестных функций методом чёрного ящика. В задачах непрерывной глобальной оптимизации оно, по словам авторов, в основном ограничено гауссовскими процессами в роли априорного распределения: это по сути единственный класс, для которого на практике удаётся вычислить апостериорное распределение.
Авторы вводят prior-fitted diffusion transformers, диффузионные модели, которые на этапе вывода выполняют сэмплирование Томпсона «по контексту» (in-context). Перед этим их предобучают по парадигме prior-fitted network (сети, подогнанной под заданное априорное распределение).
Чтобы применять такие модели, авторы разработали набор практичных негауссовских априорных распределений для общих функций-чёрных ящиков. Среди них есть приоры с характеристиками, недостижимыми при гауссовости, например приоры над унимодальными функциями (с одним максимумом).
Кроме того, авторы количественно описывают компромисс между размером модели и числом итераций предобучения и показывают, что эти модели подчиняются законам масштабирования, схожим с наблюдаемыми у трансформеров для других модальностей.
На наборе бенчмарков по глобальной оптимизации, как утверждают авторы, prior-fitted diffusion transformers с негауссовскими приорами могут давать более высокое качество, чем традиционные конвейеры на гауссовских процессах. Числовых результатов, названий бенчмарков и размеров моделей в аннотации нет.
Ключевые факты
- Предложены prior-fitted diffusion transformers: диффузионные модели, выполняющие сэмплирование Томпсона «по контексту» на этапе вывода после предобучения по парадигме prior-fitted network.
- Проблема, на которую нацелена работа: в непрерывной глобальной оптимизации сэмплирование Томпсона в основном привязано к гауссовским процессам, так как только для них апостериорное распределение практично вычислять.
- Разработаны практичные негауссовские приоры для общих функций-чёрных ящиков, включая приоры над унимодальными функциями, невозможные при гауссовости.
- Авторы количественно описали компромисс между размером модели и числом итераций предобучения; модели следуют законам масштабирования, как трансформеры других модальностей.
- На наборе бенчмарков глобальной оптимизации новый подход может превосходить традиционные конвейеры на гауссовских процессах (формулировка авторов: «может достигать улучшенного качества»).
Почему это важно
Оптимизация чёрного ящика, ситуация, когда функцию нельзя продифференцировать или посмотреть внутрь, а можно лишь пробовать значения. Сэмплирование Томпсона, известная стратегия для такой задачи, но, по словам авторов, на практике его держали в рамках гауссовских процессов, потому что только для них апостериорное распределение удобно считать. Работа предлагает обойти это ограничение: обучить диффузионный трансформер так, чтобы он сам выполнял сэмплирование по контексту, и тогда в качестве приора можно брать негауссовские распределения, например над унимодальными функциями. Заодно показано, что такие модели масштабируются по тем же законам, что и трансформеры в других областях.
Кому это важно
Прежде всего исследователям байесовской оптимизации и глобальной оптимизации методом чёрного ящика, а также тем, кто занимается предобученными моделями с обучением по контексту (prior-fitted networks) и диффузионными моделями. Практикам, которые подбирают гиперпараметры или оптимизируют дорогие в вычислении функции, работа интересна как возможная альтернатива конвейерам на гауссовских процессах, но пока это лишь препринт.
Как это применить
Прямых рекомендаций для внедрения в аннотации нет: упоминания о выпуске кода или моделей в тексте нет. Разумный первый шаг, прочитать полный текст статьи на arXiv, проверить, какие именно бенчмарки и базовые методы использованы, и оценить, подходит ли один из предложенных негауссовских приоров (например, унимодальный) под вашу задачу.
Можно ли доверять
Это препринт на arXiv, то есть работа, вероятно, ещё не прошла рецензирование (в тексте об этом не сказано). Все утверждения о превосходстве над гауссовскими процессами даны в осторожной форме («может достигать улучшенного качества») и принадлежат самим авторам. В аннотации нет числовых результатов, названий бенчмарков и перечня сравниваемых базовых методов, авторы и организации в ней не названы, поэтому масштаб выигрыша оценить нельзя.
Риски и подводные камни
В аннотации не приведено ни размеров моделей, ни числа итераций предобучения, ни вычислительного бюджета, поэтому неясно, во что обойдётся предобучение по сравнению с классическими гауссовскими процессами. Ограничения метода и случаи, где он проигрывает, в аннотации не упомянуты. Формулировка про улучшение относится к «набору бенчмарков» и не означает выигрыша во всех задачах. Качество результата зависит и от выбора негауссовского приора, который нужно подбирать под задачу.