Safe-Psych: бенчмарк показал, что ИИ спешит с психиатрическими диагнозами
Исследователи представили Safe-Psych, последовательный (пошаговый) бенчмарк для проверки того, как языковые модели ведут себя при неполной и постепенно раскрывающейся клинической картине в психиатрии. Идея в том, что в реальной практике данные о пациенте поступают не сразу целиком, а порциями, и модель должна на каждом шаге решить: поставить диагноз (ДИАГНОСТИРОВАТЬ), запросить дополнительную информацию (УТОЧНИТЬ) или воздержаться от ответа (ВОЗДЕРЖАТЬСЯ), пока данных недостаточно. Большинство существующих медицинских бенчмарков этого не проверяют, они по умолчанию дают модели всю информацию сразу.
Для Safe-Psych авторы взяли более 1000 реальных психиатрических клинических случаев и разбили каждый на последовательные фрагменты, имитирующие постепенное поступление сведений о пациенте. На каждом этапе психиатры вручную разметили, каким должно быть правильное действие модели, диагностировать, уточнить или воздержаться. Несколько современных языковых моделей протестировали в двух режимах: когда вся информация дана сразу и когда она поступает последовательно, шаг за шагом.
Главный вывод: высокие способности модели не гарантируют адекватной калибровки уверенности. Даже сильные модели плохо справляются с неполной клинической информацией, более чем у 60% моделей наблюдается «недостаточное воздержание»: они ставят диагноз там, где правильным действием было бы уточнить вопрос или отказаться от ответа. Попытка исправить это через промпты, явно напоминающие модели об осторожности, не устраняет проблему, а лишь смещает ошибки в другую сторону, модели начинают воздерживаться чрезмерно, даже когда данных уже достаточно для диагноза.
В последовательном режиме модели часто ставят диагноз раньше, чем накоплено достаточно доказательств, и почти никогда сами не запрашивают уточнения, только если их прямо об этом не попросить в промпте. При этом преждевременные диагнозы оказываются менее точными, чем диагнозы, поставленные вовремя, когда данных уже хватало. Авторы делают вывод, что главное ограничение проверенных моделей, не в объёме медицинских знаний, а в неспособности надёжно распознать момент, когда клинических данных ещё недостаточно для решения. Датасет и методику Safe-Psych авторы публикуют в открытом доступе, чтобы дальнейшие исследования могли использовать их для повышения безопасности ИИ в здравоохранении.
Ключевые факты
- Бенчмарк Safe-Psych построен на более чем 1000 реальных психиатрических случаях, разбитых на этапы для имитации постепенного поступления клинических данных
- На каждом этапе психиатры разметили правильное действие модели: диагностировать, уточнить или воздержаться от ответа
- У большинства протестированных моделей доля «недостаточного воздержания» (диагноз вместо уточнения) превышает 60%
- Промпты, призывающие модель быть осторожнее, не решают проблему, а лишь смещают ошибки в сторону избыточного воздержания
- В пошаговом режиме модели редко сами просят уточнить данные, а диагнозы, поставленные раньше времени, точнее не становятся, наоборот, они менее точны
Почему это важно
Языковые модели всё активнее применяют как инструмент поддержки принятия решений в медицине, но реальные клинические данные почти никогда не поступают полным пакетом сразу, врач и, соответственно, модель узнают детали постепенно. Существующие медицинские бенчмарки этого не учитывают: они изначально дают модели всю информацию целиком, поэтому не показывают, как модель ведёт себя в условиях неопределённости и неполноты данных, которые типичны для реальной практики.
Кому это важно
Разработчикам медицинских ИИ-ассистентов и систем поддержки клинических решений, компаниям, встраивающим языковые модели в телемедицину и предварительную сортировку пациентов (триаж), а также исследователям, изучающим безопасность и калибровку уверенности ИИ-моделей в чувствительных областях вроде психиатрии.
Как это применить
Датасет и методика Safe-Psych опубликованы в открытом доступе, их можно использовать как тест перед внедрением языковой модели в клинический ассистент, чтобы проверить, не ставит ли модель диагноз преждевременно и умеет ли она вовремя запрашивать недостающую информацию, а также чтобы сравнивать разные стратегии промптов на предмет реального эффекта, а не мнимой безопасности.
Можно ли доверять
Это препринт на arXiv, основанный на разметке более 1000 реальных психиатрических случаев практикующими психиатрами, а не на синтетических данных, методология выглядит добросовестной и предметной. Формальное рецензирование препринта на момент публикации не пройдено, поэтому выводы стоит воспринимать как результат одного исследования, а не окончательный вердикт по всем моделям и всем клиническим сценариям.
Риски и подводные камни
Ключевой риск в том, что попытки «исправить» модель промптами о безопасности не устраняют проблему по существу, а лишь меняют характер ошибки, модель начинает отказываться от ответа даже тогда, когда данных уже достаточно, что тоже вредно на практике. В психиатрии цена преждевременного диагноза особенно высока, а исследование показывает, что модели редко сами понимают, когда им стоит остановиться и спросить, а не отвечать, это системное ограничение, а не единичный сбой.