OpenESM: новые энергетические языковые модели, по заявлению авторов, обходят GPT
В препринте на arXiv описаны энергетически управляемые модели (energy-steered models, ESM) для базового языкового моделирования. Авторы исходят из того, что энергетические модели (energy-based models) показали многообещающие свойства в узких, предметных задачах, но с трудом справляются с универсальными сценариями. ESM призваны закрыть этот разрыв.
Главная идея: управление по «энергии» и генерация токенов объединены в одной архитектуре, а энергетический поиск используется, чтобы уточнять генерацию. Сначала модель оптимизирует скрытое состояние (latent state) на энергетическом ландшафте, затем по уточнённому скрытому состоянию генерирует токен. Благодаря такому энергетическому предобучению на крупных корпусах модели, как утверждают авторы, выучивают в целом эффективный энергетический ландшафт, где предпочтительным токенам соответствуют более низкие значения энергии.
Чтобы изучить масштабирование, ESM предобучили на трёх крупных корпусах и оценили на 26 прикладных задачах из самых разных областей. По словам авторов, результаты показывают многообещающее масштабирование с ростом размера модели и объёма обучающих данных, а на большинстве задач (не на всех) ESM превосходят GPT. Из этого они делают вывод, что ESM, перспективная архитектура для крупномасштабного предобучения и решения задач общего назначения.
Авторы полностью публикуют веса моделей и инфраструктуру обучения под названием OpenESM, чтобы сообщество могло воспроизвести и развить результаты. Код лежит в репозитории datamllab/openesm на GitHub, коллекция моделей, на HuggingFace. В тексте источника нет названий корпусов, размеров моделей, названий тестов, конкретных результатов и сведений о том, какие именно модели GPT использованы как база для сравнения.
Ключевые факты
- Предложены энергетически управляемые модели (ESM): энергетический поиск и генерация токенов объединены в одной архитектуре.
- Механизм: сначала оптимизируется скрытое состояние на энергетическом ландшафте, затем по нему генерируется токен.
- Предобучение проведено на трёх крупных корпусах, оценка, на 26 задачах из разных областей.
- По заявлению авторов, ESM масштабируются с ростом модели и данных и превосходят GPT на большинстве задач.
- Веса моделей и инфраструктура обучения опубликованы как OpenESM (GitHub: datamllab/openesm, коллекция на HuggingFace).
Почему это важно
Энергетические модели до сих пор показывали себя в узких задачах, а для универсального языкового моделирования их применять сложно. Работа претендует на то, что такой подход можно масштабировать и довести до уровня, когда он обходит GPT на большинстве из 26 задач. Если это подтвердится, у обычных авторегрессионных языковых моделей появится архитектурная альтернатива. Пока это лишь заявление авторов препринта.
Кому это важно
Исследователям архитектур языковых моделей и энергетических моделей, а также командам, которые изучают законы масштабирования и ищут альтернативы привычной генерации токенов. Полезно и тем, кто хочет воспроизвести результаты: веса и инфраструктура обучения опубликованы.
Как это применить
Практический путь, открыть репозиторий datamllab/openesm на GitHub и коллекцию OpenESM на HuggingFace и попробовать воспроизвести обучение или оценку. Лицензия на веса в источнике не указана, поэтому перед использованием её стоит проверить в самих репозиториях.
Можно ли доверять
Это препринт на arXiv, пересказ опирается на его аннотацию. Все выводы о масштабировании и превосходстве над GPT, утверждения самих авторов. Названий корпусов, размеров моделей, тестов, числовых результатов и описания моделей GPT, с которыми шло сравнение, в источнике нет, поэтому проверить силу заявления по тексту нельзя. Открытые веса и код дают возможность независимой проверки.
Риски и подводные камни
Формулировка «превосходят GPT на большинстве задач» означает, что на части задач ESM не выигрывают, и без цифр величину преимущества оценить нельзя. Сведений о затратах на вывод, задержке и дополнительных вычислениях при оптимизации скрытого состояния в источнике нет, так что практическая цена подхода неясна. Результат пока не подтверждён независимыми воспроизведениями.
«ESM демонстрируют многообещающее масштабирование с ростом размера модели и объёма обучающих данных и превосходят GPT на большинстве прикладных задач.»
— аннотация препринта OpenESM на arXiv