Бенчмарки медицинских нейросетей мало похожи на реальные запросы медиков
Ассистенты на основе больших языковых моделей внедряют у клиницистов в системах здравоохранения, а суждения об их готовности опираются в основном на результаты бенчмарков, большинство из которых построено на экзаменационных вопросах или специально подобранных клинических случаях. Авторы работы напоминают: бенчмарк предсказывает качество в реальной работе лишь настолько, насколько его задания похожи на реальное использование, а соответствуют ли бенчмарки тому, что на самом деле поступает таким системам, измеряли редко.
Чтобы это проверить, авторы проанализировали 127 833 запроса, которые 6 342 врача, специалиста расширенной практики (advanced practice providers) и медсестры или медбрата из 35 специальностей отправили институциональному ассистенту за восемь месяцев внедрения. Каждый запрос описан с помощью RCQ-Map, проверенной клиницистами рамки, основанной на классификациях клинических вопросов и оценки языковых моделей. Она фиксирует задачу, намерение, возможность ответить, недостающую информацию и потенциальный вред.
Реальное использование оказалось далеко от экзаменов. Документация и административные задачи составили 36,2% запросов, поиск знаний, 28,9%; вместе это почти две трети использования. Диагностика заняла всего 3,7%. Более трети запросов нельзя было хорошо ответить в том виде, в котором они были заданы.
Затем ту же рамку применили к 58 публичным бенчмаркам из крупных оценочных наборов и отчётов о передовых моделях; их авторы собрали в Clinical AI Benchmark Atlas. Медианный бенчмарк не содержал ни одного запроса на документацию и совпадал с реальным использованием по составу задач на 31%, меньше, чем дало бы равномерное распределение по категориям задач. Бенчмарки из наборов, которые задумывались как похожие на клиническую практику, по отдельности оказались не ближе к реальному использованию, чем бенчмарки из отчётов о передовых моделях.
Вывод авторов: результаты бенчмарков мало что говорят о том, как клинический ИИ справляется с большей частью работы, которая ему на самом деле поручается, и оценку следует приводить в соответствие с реальным клиническим использованием.
Ключевые факты
- Проанализировано 127 833 запроса от 6 342 врачей, специалистов расширенной практики и медсестёр из 35 специальностей за восемь месяцев внедрения институционального ассистента.
- Документация и администрирование составили 36,2% запросов, поиск знаний, 28,9% (вместе почти две трети), диагностика, 3,7%; более трети запросов нельзя было хорошо ответить в исходной формулировке.
- Из 58 публичных бенчмарков медианный не содержал запросов на документацию и совпадал с реальным использованием по составу задач на 31%, меньше, чем дало бы равномерное распределение по категориям.
- Наборы, задуманные как близкие к клинической практике, по отдельности не ближе к реальному использованию, чем бенчмарки из отчётов о передовых моделях.
- Авторы делают вывод, что оценку клинического ИИ нужно сопоставлять с реальным клиническим использованием.
Почему это важно
Готовность языковых моделей к работе с клиницистами сегодня оценивают прежде всего по баллам в бенчмарках. Эта работа показывает, что реальная нагрузка устроена иначе: больше трети запросов, документация и администрирование, ещё 28,9%, поиск знаний, а диагностика составляет лишь 3,7%. При этом медианный бенчмарк не содержал запросов на документацию вовсе. Если оценка не охватывает основную часть работы, высокий балл мало что говорит о том, как система поведёт себя на практике.
Кому это важно
Прежде всего тем, кто решает, внедрять ли ИИ-ассистента в больнице или клинике, и тем, кто его оценивает: руководителям здравоохранения, специалистам по клинической информатике, закупщикам. Также важно разработчикам медицинских нейросетей и авторам бенчмарков: по оценке авторов статьи, существующие наборы плохо покрывают то, чем медики пользуются ассистентом чаще всего.
Как это применить
Практический вывод из работы: оценивать клинического ассистента стоит на задачах, которые реально ему поручают, в первую очередь на документации и поиске знаний, а не только по баллам на экзаменационных вопросах. Для этого авторы предлагают описывать запросы с помощью RCQ-Map (задача, намерение, возможность ответа, недостающая информация, потенциальный вред) и сравнивать состав задач бенчмарка с составом реального использования. Clinical AI Benchmark Atlas, набор из 58 проанализированных бенчмарков.
Можно ли доверять
Основа работы, крупная выборка реальных запросов (127 833 запроса от 6 342 клиницистов из 35 специальностей), а рамка RCQ-Map проверена клиницистами. Но пересказ опирается только на аннотацию: в ней не названы ни учреждение, ни сам ассистент, ни лежащая в его основе модель, не перечислены конкретные бенчмарки и не приведены оценки моделей. В аннотации не сказано, прошла ли работа рецензирование и открыты ли данные или инструмент. Все выводы, оценки самих авторов.
Риски и подводные камни
Цифра 31%, это совпадение состава задач у медианного бенчмарка с реальным использованием, а не показатель точности или качества ответов моделей; нельзя читать её как «модели справляются на 31%». Работа не приводит оценок вреда, хотя RCQ-Map его фиксирует, и не сообщает результатов отдельных моделей, поэтому сама по себе не показывает, какая система лучше. Данные получены от одного институционального ассистента за восемь месяцев, и насколько картина типична для других систем, из аннотации не следует. Также нельзя считать, что бенчмарки бесполезны: авторы говорят лишь, что их баллы мало говорят о большей части реальной работы.
«Поэтому результаты бенчмарков мало что говорят о том, как клинический ИИ справляется с большей частью работы, которая ему действительно поручается, а оценку следует приводить в соответствие с реальным клиническим использованием.»
— из аннотации статьи