Дешёвый верификатор Jev сравнялся с LLM Astra в RAG, но чаще пропускает неподтверждённое
В RAG (генерации с поиском по источникам) постоянно задаётся один вопрос: подтверждает ли найденный фрагмент данное утверждение. Ответ занимает один бит, но, как отмечают авторы препринта, большинство конвейеров получают его от генератора текста и платят цену генерации за сопроводительный текст вокруг ответа.
Авторы сравнили два подхода. Первый, негенеративная модель принятия решений: она возвращает типизированное значение из заранее заданного перечня вместе со встроенной вероятностью и без какого-либо текста. Второй, передовая LLM, настроенная так, как её развернул бы инженер для бинарной классификации. Обе системы отвечали на одни и те же 495 размеченных людьми утверждений из набора LLM-AggreFact, поэтому все сравнения проводятся внутри пар.
Результатов три. Первый: по метрике, которой обычно оценивают эту задачу, системы статистически неразличимы, парная разница составила −0,56 пункта (Jev минус Astra) при разнице в стоимости в 187 раз.
Второй: такая «ничья» почти ничего не говорит о пригодности для работы. Системы расходятся в оценке 15,2% утверждений. Более дешёвая система пропускает как подтверждённые 23,2% утверждений, которые аннотаторы пометили как неподтверждённые, тогда как у передовой модели этот показатель, 14,1%. По мнению авторов, компонент, задача которого, ловить неподтверждённые утверждения, надо судить именно по этой доле, а привычный итоговый показатель её скрывает.
Третий: раз ошибки у систем разные, их можно комбинировать. Утверждения, в которых дешёвая модель уверена, она решает сама, остальные передаются дальше. Каскад с порогом, выбранным вне обучающей выборки, даёт 74,10 при $2,92 за тысячу утверждений, против 73,83 при $8,93.
Однако контроль со случайной передачей дальше (на тех же порогах внутри выборки, с тем же бюджетом, но по жребию) работает не хуже. Значит, экономию даёт сама доля передаваемых утверждений, а не вероятность, по которой их выбирают. По сравнению с дешёвой моделью, из которой каскад построен, он стоит в 61 раз дороже ради прироста в 0,83 пункта (95%-й доверительный интервал [−3,36; 4,86]), и он, более «разрешающий» сторож из двух. Вывод авторов: равная точность скрывает неравные ошибки. Предсказания, промпты, цены и код опубликованы.
Ключевые факты
- На 495 размеченных утверждениях из LLM-AggreFact негенеративная модель Jev и LLM Astra статистически неразличимы по привычной метрике: парная разница −0,56 пункта при разнице в стоимости в 187 раз.
- Системы расходятся на 15,2% утверждений; дешёвая пропускает 23,2% утверждений, помеченных аннотаторами как неподтверждённые, передовая модель, 14,1%.
- Каскад с выбором по уверенности даёт 74,10 при $2,92 за тысячу утверждений против 73,83 при $8,93.
- Контроль со случайной передачей дальше при том же бюджете работает не хуже: экономию даёт доля передаваемых утверждений, а не выбор по вероятности.
- Относительно дешёвой модели каскад дороже в 61 раз ради прироста 0,83 пункта (95%-й доверительный интервал [−3,36; 4,86]) и пропускает больше.
Почему это важно
Проверка «подтверждает ли источник это утверждение», массовая операция в RAG, и платить за неё ценой генерации текста выглядит расточительно. Работа показывает, что дешёвая негенеративная модель может сравняться с передовой LLM по привычной метрике, но одновременно предупреждает: равный балл скрывает разные ошибки. Для компонента-сторожа важна доля пропущенных неподтверждённых утверждений, и здесь дешёвая система хуже (23,2% против 14,1%).
Кому это важно
Командам, которые строят RAG-конвейеры и проверяют ответы на соответствие источникам, и тем, кто выбирает между дорогой LLM и дешёвым классификатором для такой проверки. Также полезно тем, кто оценивает системы по одной сводной метрике.
Как это применить
Оценивая проверяющий компонент, смотрите не только на сводную метрику, но и на долю пропущенных неподтверждённых утверждений. Каскад «дешёвая модель решает там, где уверена, остальное передаётся дальше» снижает стоимость, но в работе такая же экономия получается и при случайной передаче того же объёма. Авторы опубликовали предсказания, промпты, цены и код, так что результаты можно перепроверить на своих данных.
Можно ли доверять
Это препринт с аннотацией на arXiv; авторы в доступном тексте не названы. Сильная сторона, парное сравнение на одних и тех же 495 утверждениях и честный контроль, который ослабляет собственный каскадный результат; опубликованы код и данные. Ограничения: один поднабор бенчмарка из 495 утверждений, не указаны ни вендор и версия модели Astra, ни название привычной метрики, ни доля передаваемых дальше утверждений. О внедрении в рабочие системы в тексте ничего не сказано.
Риски и подводные камни
Дешёвая система пропускает больше неподтверждённых утверждений, а каскад по сравнению с ней ещё и более «разрешающий» сторож. Прирост каскада над дешёвой моделью (0,83 пункта) статистически неотличим от нуля: доверительный интервал [−3,36; 4,86] включает ноль, при этом стоимость выше в 61 раз. Вывод о выгоде каскада опирается на один бенчмарк, поэтому переносить его на другие данные и модели без проверки нельзя.
«Равная точность скрывает неравные ошибки.»
— из аннотации препринта