SaMer сжимает визуальные токены для поиска по картинкам в 16 раз, и находит нужное точнее

Группа исследователей во главе с Су Хёном Паком представила метод SaMer для мультивекторного поиска «текст-изображение» (vision-language retrieval), задачи, где по текстовому запросу нужно найти наиболее подходящую картинку среди множества.

Современные системы такого поиска (например, ColPali) представляют каждое изображение как набор из множества отдельных векторов-токенов, по одному на каждый мелкий фрагмент картинки. Это даёт точность (можно сопоставить конкретное слово запроса с конкретным объектом на фото), но обходится дорого: чем больше токенов на изображение, тем больше памяти нужно для хранения базы и тем дольше идёт сопоставление при поиске.

Существующие способы сжатия токенов решают проблему цены, но платят за это качеством: они склеивают или выбрасывают токены, которые как раз описывают конкретные объекты и области на изображении, а именно к ним потом обращается поисковый запрос. Авторы SaMer предлагают более аккуратный подход: объединять токены не случайно, а с оглядкой на то, к какому объекту на изображении они относятся, схлопывая их в заданное число «представителей» (центроидов). Разметка объектов используется только на этапе обучения, как подсказка, чтобы не смешивать токены разных объектов друг с другом; при непосредственном поиске никакой разметки или отдельного детектора объектов уже не требуется, а изменяется только общий проекционный слой модели, сами «зрительная» и «языковая» части остаются замороженными.

При числе представителей K=64 SaMer убирает больше 93% исходных изображенческих токенов и сокращает объём хранения (по сравнению с ColPali) в 16,09 раза. При этом точность поиска (метрика R@1, доля случаев, когда правильный ответ найден с первой попытки) на датасетах Flickr30K и MSCOCO не падает, а растёт по сравнению с базовым ColPali. SaMer также обходит другие методы сжатия токенов и лучше справляется с привязкой отдельных фраз запроса к конкретным участкам изображения (phrase-level grounding). Вывод авторов: эффективность мультивекторного поиска зависит не только от того, насколько сильно сжат набор токенов, но и от того, сохраняется ли в сжатом виде именно та «улика», доказательство наличия объекта, которую сможет использовать будущий поисковый запрос.

Ключевые факты

SaMer, метод сжатия визуальных токенов для мультивекторного поиска «текст-изображение», учитывающий, к какому объекту на изображении относится токен
При K=64 удаляется более 93% токенов изображения, хранение базы сокращается в 16,09 раза по сравнению с ColPali
Разметка объектов нужна только при обучении как подсказка для объединения токенов; при поиске детектор объектов и разметка не требуются
Обучается только общий проекционный слой, «зрительная» и «языковая» части модели остаются без изменений (заморожены)
На Flickr30K и MSCOCO точность поиска (R@1) не падает, а растёт по сравнению с несжатым ColPali; метод также лучше привязывает фразы запроса к нужным участкам изображения

Почему это важно

Мультивекторный поиск по картинкам (когда по текстовому запросу можно найти нужное изображение с точностью до конкретного объекта на нём), точный, но дорогой инструмент: на каждое изображение приходится хранить десятки-сотни отдельных векторов. SaMer показывает, что дороговизну можно резко снизить (в 16 раз меньше памяти) без потери, а даже с приростом точности, если сжимать токены осмысленно, с учётом того, какому объекту на изображении они соответствуют, а не просто отбрасывать «лишние».

Кому это важно

Разработчикам систем поиска по изображениям и мультимодальных баз данных (каталоги товаров, стоковые фото, медиатеки, системы для медицины и ретейла), где база растёт быстрее, чем бюджет на хранение и вычисления. Также интересно исследователям, работающим над эффективностью retrieval-моделей типа ColPali, которые лежат в основе многих современных систем поиска документов и изображений.

Как это применить

SaMer описан как надстройка над существующей архитектурой позднего взаимодействия (late interaction), а не как отдельная новая модель: адаптируется только проекционный слой, остальные части модели-донора остаются замороженными. Это снижает порог внедрения, переобучать всю модель целиком не нужно. Работа опубликована как препринт на HuggingFace Papers, готового к использованию продукта или библиотеки в тексте не упомянуто.

Можно ли доверять

Заявленные цифры (сжатие в 16,09 раза, рост R@1) получены на признанных в индустрии бенчмарках Flickr30K и MSCOCO, что говорит в пользу воспроизводимости результата в сравнимых условиях. При этом это единственная научная публикация (16 голосов и 2 комментария на момент сбора) без независимых проверок и промышленного внедрения, типичный ранний препринт, выводы которого стоит воспринимать как многообещающие, но пока не подтверждённые практикой за пределами лабораторных тестов.

Риски и подводные камни

Метод требует размеченных данных об объектах на этапе обучения, для доменов без такой разметки (или с нетипичными объектами) выигрыш может быть меньше, чем на тестовых датасетах. Также заявленные приросты получены на конкретных бенчмарках общего назначения (фотографии людей и бытовых сцен); поведение на специализированных изображениях (медицинские снимки, чертежи, спутниковые снимки) в тексте не проверялось и не описано.