Исследователи представили UltraBERT: энкодер с 91,0 на GLUE и 47,7 на BEIR
Авторы статьи исходят из того, что современные двунаправленные энкодеры (модели в духе BERT) обновляли идеями из каузальных больших языковых моделей, но сам рецепт предобучения остался унаследованным от мелкомасштабных практик. Из-за этого энкодеры недооптимизированы, и ни одна модель не справлялась одинаково хорошо и с классификацией, и с поиском. Авторы решили проверить, как далеко можно продвинуть качество энкодера, если пересмотреть базовые решения при обучении.
Они сообщают о трёх выводах. Первый: энкодеры выходят на насыщение на downstream-задачах (прикладных задачах после предобучения) после нескольких триллионов токенов, дополнительные вычисления сверх этого порога не помогают. Второй: на моделях разного размера низкая доля маскирования токенов (masking ratio) выгодна для классификации, а высокая, для поиска; это противоречит прежним работам, где для больших моделей предлагали большие доли. Третий: дистилляция с прунингом (отсечением части параметров) улучшает классификацию при низких долях маскирования, но ухудшает поиск при высоких.
На основе этого авторы построили UltraBERT, один энкодер, который внутри одного батча использует отдельные выходные слои предсказания слов (LM head) для низкой и высокой долей маскирования, а цель дистилляции ограничивает только низкой долей. По словам авторов, насколько им известно, это первый энкодер, достигший уровня state of the art одновременно в классификации и в поиске: 91,0 на GLUE и 47,7 на BEIR.
Итоговый тезис работы: результаты показывают, как далеко можно продвинуть энкодеры, и дают обоснованную основу для распределения вычислений, выбора доли маскирования и переноса знаний в двунаправленных моделях.
Ключевые факты
- UltraBERT, единая модель-энкодер, которая, по заявлению авторов, впервые достигла state of the art и в классификации, и в поиске: 91,0 на GLUE и 47,7 на BEIR.
- Энкодеры насыщаются на прикладных задачах после нескольких триллионов токенов: дополнительные вычисления сверх этого не помогают.
- Низкая доля маскирования лучше для классификации, высокая, для поиска, что противоречит прежним рекомендациям увеличивать долю для больших моделей.
- Дистилляция с прунингом улучшает классификацию при низких долях маскирования, но ухудшает поиск при высоких.
- Приём UltraBERT: отдельные выходные слои предсказания слов для низкой и высокой долей маскирования в одном батче и дистилляция только на низкой доле.
Почему это важно
Энкодеры вроде BERT остаются рабочей основой для классификации и поиска, а их рецепт предобучения, по оценке авторов, достался в наследство от мелкомасштабных практик. Работа показывает, что в этом рецепте есть что оптимизировать: один энкодер, по заявлению авторов, закрывает обе группы задач на уровне state of the art. Отдельно ценны выводы про насыщение после нескольких триллионов токенов и про долю маскирования, они подсказывают, куда не стоит тратить вычисления.
Кому это важно
Исследователям и инженерам, которые обучают или дообучают двунаправленные модели и эмбеддинг-энкодеры для классификации и поиска; командам, планирующим бюджет вычислений на предобучение; тем, кто строит поисковые и ранжирующие системы на энкодерах.
Как это применить
Напрямую внедрять пока нечего: в тексте не указано, опубликованы ли веса модели и код. Практические выводы относятся к проектированию обучения: подбирать долю маскирования под задачу (ниже, для классификации, выше, для поиска), не рассчитывать на прирост от вычислений сверх нескольких триллионов токенов и осторожно применять дистилляцию с прунингом, учитывая её разный эффект на классификацию и поиск.
Можно ли доверять
Все утверждения, самоотчёт авторов препринта. Первенство подано с оговоркой «насколько нам известно». В тексте не названы базовые модели для сравнения и их результаты, поэтому величина преимущества неизвестна; не указано, какой именно вариант GLUE и BEIR и какая агрегация (среднее) использованы, а также размер модели и точное число токенов обучения. Независимой проверки в материале нет.
Риски и подводные камни
Без сравнения с конкретными базовыми моделями и без деталей оценки заявленные 91,0 и 47,7 трудно интерпретировать. Конкретные значения «низкой» и «высокой» доли маскирования в тексте не названы, так что воспроизвести подход по аннотации нельзя. Вывод о насыщении после нескольких триллионов токенов, наблюдение авторов, а не универсальный закон для любых архитектур и данных.
«Насколько нам известно, UltraBERT, первый энкодер, достигший уровня state of the art одновременно в задачах классификации и поиска.»
— авторы статьи, из аннотации