Фреймворк LASAGNA: в RAG сильные приёмы не всегда складываются
RAG (Retrieval Augmented Generation, генерация с подкреплением поиском) опирает большие языковые модели на внешние знания. Современные конвейеры RAG сочетают эмбеддинги, нарезку текста на фрагменты (chunking), поиск, переранжирование, расширение запроса, сжатие контекста и агентную проверку ответа. Но, как отмечают авторы статьи, эти приёмы обычно оценивают по одному. Остаются неясными три вещи: сохраняется ли выигрыш каждого приёма при их совместном использовании; одинаковые ли решения оптимальны для качества поиска и для достоверности (faithfulness) ответа; переносятся ли выводы с небольших коллекций документов на большие.
Чтобы это проверить, авторы заранее заявили три гипотезы и создали LASAGNA, открытый фреймворк для контролируемой оценки RAG. С его помощью они протестировали 450 конфигураций на восьми бенчмарках и на коллекциях документов размером от 5 тысяч до 200 тысяч.
Результатов три. Первый: сильные по отдельности приёмы из разных этапов конвейера не обязательно складываются. Три приёма для поиска, судя по их индивидуальным результатам, должны были дать суммарное улучшение +47%, а при совместном использовании дали только +17%. Второй: выигрыш от компонентов накапливается по-разному для качества поиска и для достоверности ответа, и оптимизация одного показателя может ухудшить другой. Третий: лучшая комбинация меняется с ростом коллекции, сочетание, победившее на небольшом корпусе, может перестать быть лучшим в большом масштабе.
Вывод авторов: прирост, измеренный в изоляции, ненадёжно предсказывает реальную производительность, а новые методы RAG нужно проверять в полном окружении остальных компонентов. Они призывают исследователей так и делать, а LASAGNA предлагают как инструмент, упрощающий такие эксперименты.
Ключевые факты
- Авторы протестировали 450 конфигураций RAG на восьми бенчмарках и коллекциях документов от 5 тысяч до 200 тысяч.
- Три приёма поиска вместе дали +17% вместо предсказанных по отдельным результатам +47% (метрика в аннотации не названа).
- Выигрыш для качества поиска и для достоверности ответа накапливается по-разному, и оптимизация одного может навредить другому.
- Лучшая комбинация приёмов меняется с ростом коллекции: победитель на малом корпусе может не остаться лучшим на большом.
- Для таких проверок авторы предлагают открытый фреймворк LASAGNA.
Почему это важно
Новые методы RAG обычно сравнивают по одному, а в реальных системах их ставят в один конвейер. Работа показывает на 450 конфигурациях, что выигрыш отдельных приёмов может сильно съёживаться при совместном использовании: в приведённом примере предсказанные +47% превратились в +17%. Отдельные результаты из статей, таким образом, плохо предсказывают итог всей сборки.
Кому это важно
Инженерам и командам, которые собирают RAG-конвейеры из нескольких компонентов (эмбеддинги, поиск, переранжирование, сжатие контекста, проверка ответа), а также исследователям, предлагающим новые методы RAG и сравнивающим их с базовыми вариантами.
Как это применить
Авторы советуют проверять новые приёмы RAG вместе с остальным стеком, а не изолированно, и учитывать размер коллекции: победившая на малом корпусе комбинация может не подойти для большого. Для таких экспериментов они выложили открытый фреймворк LASAGNA для контролируемой оценки RAG.
Можно ли доверять
Источник, аннотация препринта на Hugging Face. В ней не названы метрика и базовый уровень для цифр +47% и +17%, не перечислены три приёма поиска и восемь бенчмарков, не указано, какие комбинации побеждают при каком размере корпуса. Выводы принадлежат самим авторам работы, независимой проверки в тексте нет.
Риски и подводные камни
Цифры +47% и +17% относятся к одному примеру из трёх приёмов поиска, и обобщать их на все сочетания нельзя. Выводы получены на заданном наборе бенчмарков и коллекциях до 200 тысяч документов; как они поведут себя в других условиях, из аннотации неясно. Само утверждение, что приёмы «не обязательно» складываются, не означает, что они не складываются никогда.
«Эти результаты показывают, что приросты, измеренные по отдельности, ненадёжный показатель реальной производительности, а новые методы RAG следует тестировать со всем окружающим стеком.»
— Из аннотации статьи