Apple представила SupportNet и KeyNet для ускорения поиска в RAG

Поиск по максимальному скалярному произведению (maximum inner product search, MIPS) лежит в основе рекомендательных систем, поиска и RAG: по вектору запроса нужно найти среди миллионов векторов-ключей тот, что подходит лучше всего. Когда ключей миллионы, а размерность векторов достигает тысяч, полный перебор становится дорогим. Существующие приближённые методы (кластеризация, квантование) опираются на свойства самого набора ключей и, по словам авторов, неявно предполагают, что запросы похожи на ключи или вообще не учитывают, как выглядят запросы. Для RAG это проблема: запросы, короткие вопросы пользователей, а ключи, длинные, информативные тексты. При этом в продакшене запросы обычно приходят от устойчивой аудитории со стабильным, хорошо изученным распределением, и общие методы этим сигналом не пользуются.

В статье «Amortizing Maximum Inner Product Search with Learned Support Functions» (ICML 2026) исследователи Apple обучают малые нейросети один раз, офлайн, под фиксированную базу ключей. Сети учатся направлять запросы к лучшему совпадению быстрее: вы платите заранее за обучение, а получаете более быстрый и точный поиск на этапе вывода.

Идея опирается на математику: функция, которая сопоставляет запросу наибольшее скалярное произведение с ключами набора, это опорная функция (support function) набора из выпуклого анализа. Она выпуклая, поэтому её можно приближать входно-выпуклыми нейросетями (ICNN), а её градиент в точке запроса возвращает сам лучший ключ. Обучение, обычная регрессия: берутся запросы из нужного распределения, лучший ответ для каждого один раз считается полным перебором и сохраняется, после чего сеть учится его воспроизводить. На практике, отмечают авторы, лучше работают две отдельные специализированные сети.

SupportNet (слабо ограниченная ICNN) учит опорную функцию напрямую и хорошо подходит для маршрутизации: по одной опорной функции на кластер, так что сеть отвечает на вопрос «насколько хорош лучший ключ в этом кластере для данного запроса». Она заменяет обычную маршрутизацию по центроидам в индексах с инвертированными файлами (IVF), которая ошибается, когда в кластере есть далёкий от центроида ключ, близкий к запросу. KeyNet сразу выдаёт вектор лучшего ключа для запроса; согласованность с опорной функцией обеспечивает функция потерь на основе теоремы Эйлера об однородных функциях. KeyNet работает как «переписыватель запроса» перед обычным индексом: индекс ищет не по исходному запросу, а по предсказанному ключу.

Эксперимент: Natural Questions (примерно 2,6 млн уникальных фрагментов в настройке авторов), 128 кластеров, модели размеров XS, S, M и L, 1%, 5%, 10% и 20% от размера базы. Малая SupportNet достигает 95% полноты маршрутизации примерно в 1,9 раза быстрее центроидной маршрутизации (1,74 мс против 3,36 мс; затраты на работу сетей учтены), большая, 97% за 1,74 мс. Если смотреть только на качество, без накладных расходов сети, то при просмотре 5% базы обученные маршрутизаторы находят нужный раздел в ~90-93% случаев (до 92,6% у средней M) против 87,5% у центроидов. Для KeyNet достижение 99% полноты с самой большой моделью занимает до ~8 раз меньше времени (0,23 мс против 1,8 мс для исходного запроса). При просмотре лишь 0,001% базы запросы, преобразованные KeyNet, находят истинный ключ в 89-97% случаев (до 96,7% у модели L) против 86% у исходного запроса, а для 99% полноты нужно до ~11 раз меньше ключей (0,009% против 0,10% базы). Тот же эксперимент проведён на FAISS IVF; по словам авторов, на других датасетах тенденция та же.

Практический выбор, по авторам: KeyNet, когда узкое место скорость вывода и достаточно приблизить лучший ключ; SupportNet, когда нужна ещё и калиброванная оценка (для переранжирования, порогов) или когда вычислений мало и модель маленькая. Обе сети обучаются похоже, встраиваются в существующую инфраструктуру приближённого поиска и в разумной мере устойчивы к умеренному сдвигу распределения запросов.

Ключевые факты

  • Исследователи Apple (ICML 2026) обучают малые нейросети SupportNet и KeyNet один раз, офлайн, под фиксированную базу ключей, чтобы ускорить поиск по максимальному скалярному произведению.
  • SupportNet заменяет маршрутизацию по центроидам в IVF-индексах: малая модель достигает 95% полноты маршрутизации в ~1,9 раза быстрее (1,74 мс против 3,36 мс) на Natural Questions со 128 кластерами.
  • KeyNet переписывает запрос перед обычным индексом: до ~8 раз меньше времени до 99% полноты (0,23 мс против 1,8 мс) и до ~11 раз меньше просматриваемых ключей (0,009% против 0,10% базы).
  • Размеры моделей, 1%, 5%, 10% и 20% от размера базы; авторы утверждают, что тенденция сохраняется на нескольких датасетах, но цифры приведены только для Natural Questions.
  • Выбор: KeyNet, когда важна скорость вывода, SupportNet, когда нужна калиброванная оценка или мало вычислений.

Почему это важно

Векторный поиск, основа RAG, и его цена растёт вместе с числом ключей. Работа предлагает не усложнять индекс, а использовать то, что в продакшене распределение запросов обычно стабильно: короткие пользовательские вопросы сильно отличаются от длинных ключей-документов, и общие методы этого не учитывают. Малая сеть, обученная под реальные запросы, даёт выигрыш по задержке с учётом собственных вычислений: ~1,9 раза для маршрутизации и до ~8 раз для KeyNet при выходе на 99% полноты.

Кому это важно

Командам, которые строят RAG, поиск и рекомендации на больших базах векторов с приближённым поиском (в статье, IVF и FAISS), особенно если поток запросов устойчив и хорошо изучен. Также исследователям, работающим над приближённым поиском ближайших соседей.

Как это применить

По описанию авторов, обе сети встраиваются в существующую инфраструктуру приближённого поиска. SupportNet заменяет маршрутизацию по центроидам внутри IVF, а KeyNet ставится перед обычным индексом как переписыватель запроса, и сам индекс остаётся прежним. Для обучения нужны запросы из реального распределения и разовый полный перебор для получения эталонных лучших ключей. KeyNet стоит брать, когда узкое место скорость вывода; SupportNet, когда нужна калиброванная оценка (для переранжирования, порогов) или вычислений мало и модель маленькая. Стоимость предварительного обучения в тексте статьи в числах не приведена.

Можно ли доверять

Это публикация на сайте исследований Apple о статье, представленной на ICML 2026; все утверждения и цифры принадлежат самим авторам. Отдельные имена авторов в видимом тексте не названы. Приведены результаты в основном на одном датасете (Natural Questions), по остальным датасетам есть лишь заявление о согласованной тенденции без чисел. Значения вроде 92,6% и 96,7%, это оценка качества без учёта накладных расходов сетей, а показатели задержки их учитывают. Условия измерения задержек (железо, программный стек, размер пакета) не указаны. Часть финального раздела в доступном тексте обрезана.

Риски и подводные камни

Метод привязан к фиксированной базе ключей и к определённому распределению запросов: сети обучаются под них, а к умеренному сдвигу распределения они лишь «в разумной мере» устойчивы. Нужны предварительное обучение и эталонные ответы, получаемые полным перебором; стоимость этого этапа не оценена. Измерялись полнота поиска и задержка, а качество итоговых ответов RAG в видимом тексте не приводится. О применении метода в продуктах Apple в источнике ничего не сказано.

«Насколько хорош лучший ключ внутри этого кластера для данного запроса?»

— авторы статьи Apple о вопросе, на который отвечает SupportNet