ИИтог

RAGU: 7B-модель Meno-Lite-0.1 обошла Qwen2.5-32B в построении графов знаний

исследованияРедакция ИИтогHugging Face🔥57Рейтинг ИИтог · значимость 73 · 119 баллов · 1/ч · 4 коммент.
RAGU: 7B-модель Meno-Lite-0.1 обошла Qwen2.5-32B в построении графов знаний

GraphRAG (graph retrieval-augmented generation, поиск с дополнением по графу знаний) обогащает большие языковые модели структурированными знаниями: вместо плоского поиска по тексту система строит граф сущностей и связей и достаёт ответы из него. Проблема существующих систем в том, что они строят граф за один проход извлечения, это даёт зашумлённые сущности и хрупкий поиск (retrieval).

RAGU, открытый модульный GraphRAG-движок, который решает эту проблему разделением извлечения и консолидации: сущности и связи проходят двухэтапное типизированное извлечение, дедупликацию на основе алгоритма DBSCAN, суммаризацию через LLM и обнаружение сообществ (кластеров) в графе алгоритмом Лейдена (Leiden community detection).

Ключевая идея работы: навыки, нужные модели внутри такого конвейера, понимание текста, извлечение сущностей, рассуждение над контекстом, это языковые навыки, которые слабо растут с увеличением размера модели, в отличие от фактических знаний о мире. Отсюда вывод: для этой задачи не нужна огромная модель с широкими знаниями, достаточно компактной модели с сильными языковыми навыками.

Исходя из этой идеи авторы обучили Meno-Lite-0.1, модель на 7 млрд параметров, оптимизированную именно под языковые навыки. Она обходит Qwen2.5-32B на построении графов знаний (относительное среднее гармоническое выше на 12,5%) и показывает сопоставимый результат на англоязычных GraphRAG-задачах, при этом будучи заметно меньше.

На бенчмарке GraphRAG-Bench (медицинский домен) RAGU достаёт наиболее полный контекст на каждом уровне фактоидных вопросов (полнота выдачи, evidence recall, до 0,84 против не более 0,76 у альтернатив) и обгоняет систему HippoRAG2 на задачах синтеза ответов. На многошаговых (multi-hop) фактоидных вопросах кажущееся преимущество HippoRAG2 в исследовании объясняется в основном артефактом формата ответа, а не реальным качеством поиска.

RAGU устанавливается командой pip install graph_ragu, работает на одной видеокарте и распространяется под лицензией MIT. Исходный код опубликован на GitHub (RaguTeam/RAGU), модель Meno-Lite-0.1 доступна на Hugging Face (bond005/meno-lite-0.1).

Ключевые факты

  • RAGU разделяет извлечение сущностей и консолидацию графа: двухэтапное типизированное извлечение, дедупликация через DBSCAN, суммаризация LLM, кластеризация алгоритмом Лейдена
  • Компактная 7B-модель Meno-Lite-0.1 обходит 32-миллиардную Qwen2.5-32B на построении графов знаний (+12,5% относительного среднего гармонического) и сравнивается с ней на GraphRAG-задачах на английском
  • На бенчмарке GraphRAG-Bench (медицина) RAGU достигает полноты выдачи (evidence recall) до 0,84 против не более 0,76 у сравниваемых систем и обгоняет HippoRAG2 на задачах синтеза
  • Кажущееся преимущество HippoRAG2 на многошаговых вопросах оказалось в основном артефактом формата ответа, а не реальной силой поиска
  • Проект открытый (лицензия MIT), устанавливается через pip install graph_ragu, работает на одной видеокарте; код на GitHub, модель, на Hugging Face

Почему это важно

Однопроходное извлечение сущностей, стандартный подход в GraphRAG-системах, даёт зашумлённый граф знаний и хрупкий поиск: ошибки на этапе извлечения тянутся дальше по всему конвейеру. RAGU показывает, что разделение извлечения и консолидации графа решает эту проблему, а компактная специально обученная модель Meno-Lite-0.1 (7 млрд параметров) справляется с задачей лучше модели в 4,5 раза крупнее (Qwen2.5-32B), потому что нужные конвейеру навыки (понимание, извлечение, рассуждение над контекстом) слабо зависят от размера модели.

Кому это важно

Разработчикам поисковых и QA-систем на графах знаний, командам, строящим RAG-конвейеры для доменов с большим объёмом структурированных данных (например, медицины), и исследователям, которые ищут способы снизить вычислительные затраты на извлечение знаний без потери качества.

Как это применить

RAGU устанавливается командой pip install graph_ragu, работает на одной видеокарте и распространяется под лицензией MIT, можно использовать и модифицировать свободно, включая коммерческое применение. Исходный код доступен на GitHub (RaguTeam/RAGU), модель Meno-Lite-0.1, на Hugging Face (bond005/meno-lite-0.1).

Можно ли доверять

Результаты получены на публичном бенчмарке GraphRAG-Bench (медицинский домен) с явными метриками (полнота выдачи, evidence recall) и прямым сравнением с существующей системой HippoRAG2. Проект открытый, код, модель и метод воспроизводимы. При этом это результаты одной исследовательской работы на одном бенчмарке, без независимой верификации сторонними командами.

Риски и подводные камни

Основной бенчмарк, медицинский домен; насколько преимущество Meno-Lite-0.1 и RAGU переносится на другие предметные области, из текста не следует. Сама работа демонстрирует, как легко перепутать артефакт метрики с реальным преимуществом системы, HippoRAG2 казался сильнее на многошаговых вопросах именно из-за формата ответа, а не качества поиска, и это стоит учитывать при интерпретации собственных результатов RAGU.