Hugging Face показала обучение с пулингом токенов: 97,8% качества при сжатии в 4 раза

Мультивекторные модели эмбеддингов (в духе ColBERT) хранят для документа не один вектор, а набор контекстных векторов токенов. Это делает поиск выразительным, но в корпусе из миллионов документов набегают сотни миллионов векторов. Пулинг токенов уменьшает хранилище, объединяя похожие векторы, однако чем агрессивнее сжатие, тем легче потерять полезную информацию. Автор блога (в видимом тексте он не назван, пишет от первого лица) предлагает учить кодировщик так, чтобы нужная информация переживала объединение векторов.
Главный результат, заявленный в начале поста: при pool_factor=4 обычно обученная модель сохраняет 94,6% своего значения NanoBEIR nDCG@10 без пулинга при 4-кратном сокращении числа векторов документа, а модель, обученная с учётом пулинга, при том же объёме хранилища сохраняет 97,8%. Это доли от результата модели без пулинга, а не абсолютные значения nDCG. Пост опирается на работу Stefan Josef «Learn to Pool» и исследование LightOn о регуляризации пулинга, где также рассмотрены целевое обучение и адаптивные бюджеты; сам автор сосредоточен на понимании метода и коротком воспроизводимом примере на Sentence Transformers.
Почему нужен пулинг. Для иллюстрации в посте посчитано: при 4 битах на координату остатка 200 векторов размерности 128 занимают 12,8 КБ квантованных остатков на документ, то есть 12,8 ГБ на миллион документов. Если сжать каждый документ до 50 векторов, получится 3,2 ГБ. Это арифметический пример, а не измерение обученной модели.
Как работает пулинг. Модуль HierarchicalTokenPooling группирует похожие эмбеддинги токенов иерархической кластеризацией по Уорду: начиная с одной группы на вектор, он раз за разом сливает две группы, дающие наименьший рост разброса внутри групп (сумма квадратов расстояний до среднего группы). Каждая группа заменяется средним вектором, после чего векторы снова нормируются для оценки MaxSim. С pool_factor=4 документ сохраняет примерно четверть исходных векторов, так что длинные документы получают пропорционально больше. По умолчанию первый токен не объединяется, а пулинг применяется только к эмбеддингам документов, запросы не меняются. Бюджет можно задавать тремя способами; отдельно описан адаптивный пулинг с общим порогом расстояния: он сильнее сливает похожие векторы и сохраняет больше векторов у документов с разнородным содержимым. Он работает с любой мультивекторной моделью, в том числе обученной без учёта пулинга. Порог можно откалибровать под целевое среднее число векторов (в примере target_tokens=16 на модели lightonai/LateOn), но это именно среднее: у отдельных документов векторов будет больше или меньше, а на другом корпусе среднее может сместиться.
Как устроено обучение. Идея похожа на матрёшечные эмбеддинги (Matryoshka), где цель поиска применяется к нескольким ширинам вектора; здесь она применяется к представлениям с разным числом токенов. В примере каждый обучающий батч даёт два лосса: поиск по исходным эмбеддингам документов и поиск после сжатия документов примерно до четверти векторов; они усредняются. Первый учит модель искать по полному представлению, второй, располагать токенные эмбеддинги так, чтобы полезные совпадения выживали при пулинге. Поскольку кластеризация по Уорду принимает дискретные решения, при обучении используется straight-through estimator: градиенты передаются от объединённых векторов к исходным токенам без дифференцирования назначения кластеров.
В Sentence Transformers для этого есть обёртка MultiVectorTokenPoolingLoss, которая применяет существующий мультивекторный лосс (например, CachedMultiVectorMultipleNegativesRankingLoss) через заданные пулеры. В примере база, answerdotai/ModernBERT-base с MaxSim, token_poolings=[None, pooling], веса [0.5, 0.5]. Градиентное кэширование позволяет обрабатывать мини-батчи по 64 при обучающем батче 256. Дополнительные варианты пулинга переиспользуют уже посчитанные эмбеддинги токенов: добавляется работа кластеризации и оценки, но не отдельный проход кодировщика. Можно подставить собственные реализации BaseTokenPooling, сохраняющие градиенты.
Запуск. Скрипт обучения запускается через uv (флаг --baseline включает обычный лосс для сравнения) или на облачном GPU через Hugging Face Jobs: в примере A10G (a10g-small) с лимитом четыре часа и токеном HF_TOKEN для загрузки модели на Hub. Для ускорения можно включить kernels (use_kernels=True): ядро MaxSim не строит полную матрицу сходства токенов в памяти, но требует CUDA и Triton, а ядро кластеризации по Уорду на CUDA работает в 30-150 раз быстрее SciPy в зависимости от настроек. Настройки ядер не сохраняются вместе с моделью, поэтому при загрузке для инференса use_kernels=True нужно указать снова. Текст в доступной части обрывается на разделе об использовании обученной модели; раздел с результатами оценки в видимый фрагмент не попал.
Ключевые факты
- При pool_factor=4 (примерно четверть векторов документа) обычно обученная мультивекторная модель сохраняет 94,6% своего NanoBEIR nDCG@10 без пулинга, а модель с обучением с учётом пулинга при том же бюджете хранилища, 97,8%.
- Обучение сочетает два лосса с весами 0,5 и 0,5: поиск по исходным эмбеддингам и поиск после пулинга до примерно четверти векторов; градиенты через дискретную кластеризацию по Уорду передаёт straight-through estimator.
- В Sentence Transformers это реализовано обёрткой MultiVectorTokenPoolingLoss поверх существующего мультивекторного лосса; пример построен на ModernBERT-base и запускается локально через uv или на A10G в Hugging Face Jobs.
- Иллюстративный расчёт: 200 векторов размерности 128 при 4 битах на координату, 12,8 ГБ на миллион документов, при пулинге до 50 векторов, 3,2 ГБ.
- Адаптивный пулинг по порогу расстояния работает и с моделями, обученными без учёта пулинга; ядро кластеризации на CUDA в 30-150 раз быстрее SciPy.
Почему это важно
Главная цена мультивекторного поиска, размер индекса: сотни векторов на документ превращаются в сотни миллионов на корпус. Пулинг токенов сокращает хранилище, но по словам автора, чем сильнее сжатие, тем больше риск потерять полезное. Заявленный выигрыш конкретен: при четырёхкратном сокращении числа векторов сохранённая доля качества вырастает с 94,6% до 97,8% от результата без пулинга. То есть потери при сжатии сокращаются примерно с 5,4% до 2,2% от исходного nDCG@10. Это инженерная оптимизация для тех, кто упирается в стоимость хранения, а не новая модель.
Кому это важно
Командам, которые строят поиск на ColBERT-подобных моделях и хранят миллионы документов, а также тем, кто уже использует Sentence Transformers и ищет способ уменьшить индекс без заметной потери качества. Для остальных тема нишевая: она касается именно мультивекторных представлений.
Как это применить
В посте дан короткий воспроизводимый пример: модель MultiVectorEncoder на ModernBERT-base с MaxSim, пулер HierarchicalTokenPooling(pool_factor=4), базовый CachedMultiVectorMultipleNegativesRankingLoss с мини-батчем 64 и обёртка MultiVectorTokenPoolingLoss с token_poolings=[None, pooling] и весами [0.5, 0.5]. Скрипт можно запустить локально через uv (с флагом --baseline для обычного лосса) или в Hugging Face Jobs на a10g-small с лимитом четыре часа. Вместо pool_factor=4 автор советует подставить ту конфигурацию, которую вы собираетесь развёртывать, или включить несколько пулеров с разными весами. Если переобучать модель нельзя, адаптивный пулинг с калибровкой порога под целевое среднее число векторов работает и с обычной моделью. Для ускорения можно включить use_kernels=True, учитывая требования CUDA и Triton.
Можно ли доверять
Это пост в блоге Hugging Face от первого лица; результаты 94,6% и 97,8%, заявление автора о собственных экспериментах с кодом, который приложен к посту. Обе цифры даны как доля от результата модели без пулинга, абсолютные значения nDCG@10 в видимом тексте не приведены. Текст источника обрывается до раздела с результатами оценки, поэтому полную таблицу, используемые данные и другие значения pool_factor проверить по доступному тексту нельзя. Расчёты про 12,8 КБ, 12,8 ГБ и 3,2 ГБ, арифметическая иллюстрация, а не замеры.
Риски и подводные камни
Кластеризация по Уорду дискретна, поэтому градиенты передаются приближённо (straight-through estimator), без дифференцирования назначения кластеров. Адаптивный пулинг даёт лишь среднее число векторов: у отдельных документов их будет больше или меньше, а на другом корпусе среднее может измениться. Ядро MaxSim требует CUDA и Triton, а настройки ядер не сохраняются с моделью и должны быть включены заново при загрузке. Каждый дополнительный пулер при обучении добавляет работу по кластеризации и оценке. Показатель 97,8% относится к одной конфигурации (pool_factor=4) и бенчмарку NanoBEIR, на ваших данных результат может отличаться.