Rubric4Setwise обошёл 12 ранжировщиков в подборе документов для RAG

Языковые модели и ИИ-агенты всё чаще сами становятся основными «потребителями» результатов поиска: не человек читает выдачу, а модель получает набор найденных документов и на его основе генерирует ответ, именно так устроены RAG-системы. Из-за этого именно качество набора документов, а не отдельного «лучшего» документа, задаёт потолок для качества итоговой генерации. Но стандартный способ оценки поиска, метрика nDCG, оценивает документы по отдельности и складывает их релевантность, не учитывая, как документы взаимодействуют друг с другом внутри набора: дублируют ли они одну и ту же информацию (избыточность), противоречат ли друг другу (конфликт) или дополняют друг друга новыми фактами (взаимодополняемость). Из-за этого невозможно ответить на вопрос, чем один набор документов лучше другого, а значит, нечем и направлять отбор.

Чтобы закрыть этот пробел, авторы предлагают полный цикл «оценка, диагностика, оптимизация», и в его основе, новый бенчмарк SetwiseEvalKit. Это трёхуровневый бенчмарк из девяти измерений (критериев оценки), который включает около 28 тысяч качественных оценочных рубрик и охватывает как короткие, так и развёрнутые сценарии генерации ответа.

На этом бенчмарке команда систематически проверила 12 существующих ранжировщиков, моделей, которые заново упорядочивают документы после первичного поиска. Результат: даже лучший из них покрывает не более 45% критериев качества, измерения, отвечающие именно за согласованность между документами (устранение противоречий и дублей, взаимодополняемость), проседают у всех без исключения, и ни один из 12 методов не держит топ-результат одновременно в коротких и развёрнутых сценариях, сильный в одном обычно слабее в другом.

На основе этих результатов авторы предложили Rubric4Setwise, метод, который не требует дообучения модели и напрямую превращает рубрики оценки в сигнал для отбора набора документов ещё на этапе поиска, а не только для оценки постфактум. По данным работы, Rubric4Setwise даёт лучшее качество итоговой генерации ответа, используя при этом меньше документов и меньше раундов поиска, и остаётся единственным методом, который держит лучший результат сразу в обоих сценариях, коротких и развёрнутых. Авторы называют это подтверждением идеи «замкнутого цикла»: если использовать саму методику оценки как сигнал для отбора, качество отбора документов растёт.

Материал опубликован как препринт на платформе Hugging Face Papers (arXiv 2607.19747); на момент публикации собрал 24 очка и 6 комментариев.

Ключевые факты

Языковые модели и ИИ-агенты стали основными потребителями результатов поиска, поэтому качество ответа определяет весь набор документов, а не один «лучший» документ; классическая метрика nDCG оценивает документы по отдельности и не видит дублей, противоречий и взаимодополняемости между ними.
Новый бенчмарк SetwiseEvalKit, трёхуровневый, из девяти измерений, около 28 тысяч оценочных рубрик, охватывает короткие и развёрнутые сценарии генерации ответа.
На SetwiseEvalKit проверили 12 существующих ранжировщиков: лучший из них покрыл не более 45% критериев качества, а согласованность между документами (устранение противоречий и дублей) провисает у всех без исключения.
Новый метод Rubric4Setwise не требует дообучения, превращает оценочные рубрики в сигнал для отбора набора документов и остаётся единственным, который держит лучший результат сразу в коротких и развёрнутых сценариях, при этом с меньшим числом документов и раундов поиска.
Работа опубликована как препринт на Hugging Face Papers (arXiv 2607.19747), собрала 24 очка и 6 комментариев, независимой проверки пока не было.

Почему это важно

Языковые модели и ИИ-агенты всё чаще сами читают выдачу поиска и на её основе генерируют ответ, то есть являются основными «потребителями» результатов поиска вместо человека. Это значит, что качество финального ответа определяет не отдельный «лучший» документ, а весь набор документов, который система передаёт модели. Стандартная метрика оценки поиска, nDCG, оценивает документы по отдельности и складывает их релевантность, но не видит, дублируют ли документы друг друга, противоречат ли друг другу или дополняют друг друга новыми фактами. Авторы показывают: именно эти взаимодействия внутри набора документов и определяют реальный потолок качества генерации, а существующие способы оценки их попросту не учитывают, из-за чего непонятно, чем один набор документов лучше другого.

Кому это важно

Разработчикам RAG-систем и поисковых ИИ-агентов, инженерам, которые строят корпоративные базы знаний и чат-ботов с доступом к документам, а также исследователям в области информационного поиска, тем, кто выбирает или настраивает ранжировщики (модели, переупорядочивающие найденные документы) для своего поискового конвейера и хочет понимать, где именно проседает качество отбора.

Как это применить

Rubric4Setwise не требует дообучения модели: метод берёт уже существующие оценочные рубрики и использует их как сигнал для отбора набора документов прямо на этапе поиска, а не только для оценки постфактум. Это значит, что его в теории можно встроить в существующий поисковый конвейер вместо обычного ранжировщика или в дополнение к нему. Отдельно команда выложила сам бенчмарк SetwiseEvalKit, три уровня, девять измерений, около 28 тысяч рубрик, короткие и развёрнутые сценарии, которым можно проверить качество отбора документов в собственной системе и сравнить его с результатами 12 протестированных ранжировщиков.

Можно ли доверять

Материал, препринт на платформе Hugging Face Papers (arXiv 2607.19747), на момент публикации набрал 24 очка и 6 комментариев: независимой проверки или рецензирования пока не было. Вывод о слабости существующих подходов подкреплён систематическим сравнением 12 разных ранжировщиков на одном бенчмарке, что повышает доверие к диагностике проблемы. А вот сам новый метод Rubric4Setwise пока проверен только авторами и на их же бенчмарке, независимого повторения результатов ещё не было.

Риски и подводные камни

Бенчмарк SetwiseEvalKit и метод Rubric4Setwise предложены одной и той же командой, есть риск, что метод настроен именно под метрики собственного бенчмарка и на чужих данных или в реальном продакшене покажет более скромные результаты. Даже лучший из 12 протестированных ранжировщиков покрыл не более 45% критериев качества, а согласованность между документами провисает у всех без исключения, значит, задача в целом далека от решения, и новый метод, вероятно, закрывает её не полностью. Кроме того, подход без дообучения обычно сильно зависит от качества самих рубрик-критериев: если рубрики составлены плохо, сигнал для отбора документов будет слабым.