Бенчмарк CANDI-QA показал слабость ИИ-моделей в медицине и финансах
Языковые модели всё активнее применяют в узкоспециализированных и высокорисковых сферах, например, для медицинской диагностики и финансового консультирования. Для таких задач мало общей эрудиции: модель должна точно понимать контекст конкретного случая, учитывать, кто именно задаёт вопрос, и разбираться в специфике предметной области. Обычные вопрос-ответные бенчмарки эти качества не проверяют, они меряют общие знания модели, а не её способность работать в узкой, контекстно-зависимой ситуации.
Авторы работы представили датасет CANDI-QA (Contextual Alignment for Niche Domains Question Answering, «контекстная согласованность для вопросно-ответных систем в нишевых областях»). Это набор пар «вопрос-ответ», составленных экспертами и разделённых на два типа. Первый, вопросы информационной помощи (Information Assistance Questions): прямые фактические запросы, которые требуют точного извлечения нужных данных. Второй, вопросы прикладного вывода (Applied Inference Questions): более сложные задачи на многошаговое рассуждение (multi-hop reasoning), где модели нужно сопоставить несколько фактов и сделать ситуационный вывод, применимый на практике.
На CANDI-QA протестировали более десяти разных языковых моделей, от компактных открытых (open-source) до топовых закрытых коммерческих систем. Отдельно авторы предложили собственный ориентир для сравнения, MTSS-Net, лёгкий нейросимвольный фреймворк, который сочетает нейросетевой поиск информации (neural retrieval) с логическим выводом на основе заданных правил (rule-based reasoning).
Результаты показали: даже сильные модели испытывают серьёзные трудности с контекстной согласованностью в нишевых областях, то есть с ответами, которые точно учитывают специфику ситуации и пользователя. Без дополнительной контекстной или символьной поддержки (как в MTSS-Net) современные языковые модели оказались ограничены. Авторы позиционируют CANDI-QA как инструмент для дальнейших исследований контекстно-осведомлённых языковых моделей, он должен подтолкнуть разработку более надёжного и заслуживающего доверия ИИ для сфер, где цена ошибки высока.
Ключевые факты
- CANDI-QA, новый датасет-бенчмарк для проверки языковых моделей в узкоспециализированных, высокорисковых сферах: медицинской диагностике и финансовом консультировании
- Вопросы в датасете разделены на два типа: прямые фактические (Information Assistance) и многошаговые, требующие ситуационного вывода (Applied Inference)
- На бенчмарке протестировали более 10 моделей, от компактных открытых (open-source) до топовых проприетарных систем
- Предложен baseline MTSS-Net, лёгкий нейросимвольный фреймворк, сочетающий нейросетевой поиск с логическим выводом по правилам
- Результаты показали серьёзные ограничения современных языковых моделей в контекстной согласованности ответов без дополнительной символьной или контекстной поддержки
Почему это важно
Языковые модели всё чаще используют там, где цена ошибки высока, в медицине и финансах. Но стандартные тесты на общие знания не проверяют главное: понимает ли модель контекст конкретной ситуации и того, кто задаёт вопрос. CANDI-QA закрывает этот пробел и показывает, что даже сильные модели спотыкаются на специализированных, контекстно-зависимых вопросах, это важный сигнал для всей индустрии перед тем, как доверять ИИ реальные консультации.
Кому это важно
В первую очередь, разработчикам ИИ-продуктов для медицины и финансов: им нужно точно понимать, где модель ошибается, прежде чем встраивать её в реальный сервис. Также это важно исследователям в области обработки естественного языка, которым нужен более требовательный инструмент для оценки моделей, и компаниям, которые рассматривают внедрение ИИ-консультантов в областях с высокой ценой ошибки.
Как это применить
CANDI-QA можно использовать как тестовый набор при выборе или дообучении модели перед запуском в медицинском или финансовом продукте, он показывает реальные слабые места, а не только общую эрудицию. Предложенный авторами MTSS-Net, пример архитектуры, которую можно взять за образец: сочетание нейросетевого поиска фактов с чёткими логическими правилами помогает частично компенсировать слабости чистых языковых моделей в нишевых задачах.
Можно ли доверять
Это научная работа, доступная как препринт; в её описании не раскрыты ни имена авторов, ни их организация, ни конкретные числовые показатели точности по каждой модели, судить о деталях методологии и результатах можно только после чтения полного текста статьи. При этом выборка протестированных моделей широкая (более десяти, включая и открытые, и проприетарные системы), что говорит о серьёзности подхода к тестированию.
Риски и подводные камни
Главный риск сформулировали сами авторы: без дополнительной контекстной или символьной поддержки современные языковые модели показывают выраженные ограничения именно в тех сферах, где цена ошибки максимальна, медицине и финансах. Использовать модели «из коробки» для таких консультаций рискованно: нужны дополнительные механизмы проверки (наподобие правил в MTSS-Net) и специализированное тестирование, а не только общая репутация модели по популярным бенчмаркам.
«Наши результаты подчёркивают глубокие сложности с достижением контекстной согласованности в нишевых областях и показывают ограничения современных языковых моделей без расширенной контекстной или символьной интеграции.»
— авторы исследования CANDI-QA