ИИ-стенографист выдумал пациентке наркотики в письме к её терапевту

На первом приёме у уролога австралийка Ребекка Грин согласилась, чтобы разговор с врачом записывал и расшифровывал ИИ-стенографист, программа, которая слушает приём и готовит текст для медицинской документации. Она объяснила: не хотела быть у врача на плохом счету или казаться той занудной пациенткой, что отнимает лишнее время, и согласилась не раздумывая. В итоге программа выдумала, что Грин употребляет психоделические грибы, утверждение, ничем не подкреплённое. Эта ложь попала в письмо, которое уролог отправила терапевту Грин после операции по удалению камня в почке в марте: там говорилось, что «микродозирование грибов» могло объяснить ранее отмеченное кровотечение в области почек. Грин заметила ошибку только тогда, когда сама прочитала это письмо. «Я была ошеломлена, я плакала… там написано, что я принимаю [психоделические] грибы. Я никогда в жизни не пробовала грибы», рассказала она. Женщину особенно встревожило то, что в это время она получала компенсационные выплаты в связи с производственной травмой, и она боялась, что упоминание запрещённых наркотиков в медицинских документах навредит её делу.

Австралийский регулятор врачебной практики AHPRA настаивает: врачи обязаны всегда проверять точность всего, что выдаёт ИИ-стенографист, это часть их профессиональных обязанностей. По словам Грин, её врач этого не сделала: «Если бы вы проверили это письмо, вы бы успели исправить его до отправки… почему вы не чувствуете каждого своего пациента и то, что с ним происходит?» После жалобы Грин уролог прислала письмо с извинениями: «Мы очень серьёзно относимся к точности нашей документации и искренне сожалеем о произошедшем». Врач сказала, что не смогла установить, откуда взялось упоминание грибов, но предположила ошибку в процессе диктовки или расшифровки. Письмо исправили, а уролог пообещала пересмотреть, как использует ИИ в своей практике; на вопросы издания ABC о том, что именно изменилось с тех пор, она не ответила.

История всплыла на фоне доклада правозащитной организации Digital Rights Watch (DRW): по её данным, ИИ-стенографисты в Австралии применяются практически без надзора, порой без согласия пациентов, а их ошибки способны менять клинические решения врачей. В докладе приведены и другие случаи: программа перепутала, какую именно грудь поразил рак, а в другом случае приписала пациенту эпилепсию, которой у него не было. При этом такие программы уже массово используются: Королевский австралийский колледж врачей общей практики (RACGP) в прошлом году оценил, что 40% терапевтов регулярно пользуются ИИ-стенографистами, и эту цифру считают заниженной. Исследования, на которые ссылается издание, показывают, что ИИ-расшифровка приёма снижает бумажную нагрузку на врачей и позволяет им больше внимания уделять пациенту, а не компьютеру, но у этой пользы есть и обратная сторона.

Врач общей практики из Перта Шон Стивенс пользуется ИИ-стенографистом уже три года; он же возглавляет направление цифрового здравоохранения и инноваций в RACGP и одновременно консультирует одного из крупнейших производителей таких программ. По его словам, точность заметно выросла: «Три года назад мне приходилось исправлять по несколько ошибок в каждой расшифровке. Сейчас это скорее одна поправка на каждую третью-четвёртую запись». При этом он признаёт: у ИИ есть слабые места, и он может выдавать неверные, но правдоподобно звучащие результаты. «Классика, когда программа путает стороны тела: вы говорите "слева", а она пишет "справа"… поэтому важно внимательно всё перепроверять, особенно дозировки лекарств», говорит он. По его словам, ИИ не позволяет принимать больше пациентов, но помогает укладываться в расписание и готовить более подробные направления к другим врачам.

Отдельная проблема, согласие пациентов. DRW обнаружила, что практика сильно различается: где-то врачи ограничиваются табличкой в приёмной, что не соответствует требованиям закона о защите данных, где-то согласие запрашивают ещё при записи онлайн, а некоторым пациентам, по данным доклада, отказывают в приёме, если те не соглашаются на запись ИИ. Глава Форума потребителей здравоохранения Австралии Элизабет Девени считает, что согласие должно быть по-настоящему осознанным, а пациентам не должно быть неловко задавать вопросы. В докладе также отмечается: зная, что их слушает ИИ, люди могут умалчивать о чувствительных темах, например, о домашнем насилии. Стивенс говорит, что поэтому спрашивает согласия на каждом приёме, даже у постоянных пациентов: «Пациенту важно рассказывать врачу всё, что касается его здоровья… и он должен знать, что может отказаться [от записи ИИ]… врач обязан это уважать».

На рынке Австралии работает около десятка ИИ-стенографистов для медицины, но ни один из них не одобрен государственным регулятором лекарств и медицинских изделий TGA (Therapeutic Goods Administration): продукт, заявленный исключительно как инструмент для расшифровки и краткого пересказа приёма, формально не подпадает под контроль TGA, ведомство считает «медицинским изделием» только программы, которые сами предлагают диагноз или план лечения. При этом TGA признаёт: некоторые из этих программ, вероятно, уже нарушают закон, поскольку фактически предлагают клинические рекомендации. Ведомство весь последний год проверяло такие программы и обещает опубликовать результаты «в ближайшие недели», после чего обещает реагировать на нарушения. Глава организации Patients Australia Лиза Робинс считает, что регулировать нужно все ИИ-стенографисты без исключения, поскольку даже краткая сводка приёма, это уже решение, принятое ИИ. Стивенс, наоборот, опасается, что ужесточение регулирования затормозит развитие технологий. DRW предлагает поручить проверку и сертификацию таких программ недавно созданному Институту безопасности ИИ, по образцу Новой Зеландии, где национальная консультативная группа по ИИ уже одобрила для врачей два конкретных инструмента, Heidi Health и iMed. Девени называет и другие способы контроля, встроенные в сами программы проверки или аккредитацию медицинских практик, которая в Австралии проходит раз в три года.

Грин признаёт, что ей повезло заметить ошибку самой, и опасается, что другие пациенты могут не знать о неточностях в собственной медицинской документации, а это способно сказаться на лечении, карьере или страховке. Теперь она говорит, что даст согласие на запись ИИ только у врача, с которым сложились доверительные отношения: «Я люблю ИИ… но самое главное здесь, человек. По сути, то, что произошло со мной, это история о нехватке человеческого участия».

Ключевые факты

• Австралийка Ребекка Грин доверила ИИ-стенографисту запись приёма у уролога; программа выдумала, что она принимает психоделические грибы, и эта ложь попала в письмо её терапевту после операции в марте, женщина заметила ошибку, только когда сама прочитала документ.
• По оценке Королевского австралийского колледжа врачей общей практики (RACGP), 40% терапевтов Австралии регулярно используют ИИ-стенографистов, и эту цифру считают заниженной.
• Доклад правозащитной организации Digital Rights Watch фиксирует и другие ошибки таких программ: перепутанную сторону груди в диагнозе рака и ложный диагноз эпилепсии.
• Ни один из примерно десятка ИИ-стенографистов, доступных в Австралии, не одобрен регулятором TGA: инструмент для расшифровки и пересказа формально не подпадает под определение «медицинского изделия»; результаты годовой проверки TGA обещает опубликовать «в ближайшие недели».
• Врач Шон Стивенс, пользующийся ИИ-стенографистом три года, говорит, что частота ошибок упала с нескольких правок на расшифровку до примерно одной поправки на три-четыре записи, но подчёркивает: сторону тела и дозировки лекарств программа всё ещё может перепутать.

Почему это важно

Это не гипотетический риск «ИИ может ошибиться», а задокументированный случай реального вреда: медицинский ИИ-инструмент, которым, по оценке профильного колледжа, пользуется 40% терапевтов Австралии (и это, как считается, заниженная оценка), вписал в официальный медицинский документ ложное обвинение в употреблении наркотиков, и это прошло мимо проверяющего врача. История показывает, что «галлюцинации» языковых моделей, это уже не абстрактная тема дискуссий об ИИ, а конкретный риск для здоровья, карьеры, страховки и юридических дел живых людей, причём в отрасли, где цена ошибки особенно высока.

Кому это важно

Пациентам, которые соглашаются на запись приёма ИИ, не всегда понимая, что могут отказаться. Врачам и клиникам, которые обязаны, по правилам регулятора AHPRA, проверять каждую строку, сгенерированную ИИ, прежде чем подписывать документ. Регуляторам вроде TGA и профессиональным ассоциациям вроде RACGP, которым только предстоит выстроить систему контроля для примерно десятка таких программ, уже работающих на рынке. Разработчикам ИИ-стенографистов и правозащитным организациям вроде Digital Rights Watch, которые собирают статистику подобных ошибок. И шире, любому, кто рассматривает похожие ИИ-инструменты для протоколирования встреч в других чувствительных сферах (юриспруденция, кадры, финансы), где неверная запись тоже может иметь долгосрочные последствия.

Как это применить

Пациенту стоит помнить: согласие на запись ИИ можно не давать, а перед тем как документ уйдёт другому врачу, есть смысл попросить показать итоговый текст и свериться с тем, что реально обсуждалось на приёме, особенно если речь о диагнозах, дозировках или образе жизни. Врачам и клиникам, выбирающим ИИ-стенографиста, стоит ориентироваться на модель, которую начинает выстраивать Новая Зеландия: там национальная консультативная группа по ИИ уже проверила и одобрила для клинического использования два конкретных инструмента, Heidi Health и iMed, то есть выбор делается не наугад, а по списку проверенных программ. И в любом случае финальную проверку текста перед отправкой в карту или другому врачу должен делать человек, а не ИИ.

Можно ли доверять

Разработчики ИИ-стенографистов и часть врачей, как Шон Стивенс, говорят, что точность растёт: там, где три года назад приходилось исправлять по несколько ошибок на приём, сейчас, примерно одна поправка на три-четыре расшифровки. Но тот же врач признаёт: ИИ по-прежнему может путать стороны тела и выдавать неверные данные, которые звучат вполне убедительно, а значит, беглой проверки недостаточно. Официальное правило AHPRA требует, чтобы врач сверял каждый ИИ-документ, но история Ребекки Грин показывает: правило существует, а его соблюдение никто не контролирует, и даже опытный специалист может его нарушить. Доклад Digital Rights Watch добавляет, что это не единичный случай: в его материалах, перепутанная сторона груди при диагнозе рака и ложный диагноз эпилепсии. Доверять стоит настолько, насколько систему реально проверяет человек, а сегодня в Австралии эта проверка держится только на добросовестности конкретного врача.

Риски и подводные камни

Ни один из примерно десятка ИИ-стенографистов, работающих в Австралии, не прошёл проверку регулятора TGA: инструмент, заявленный только как «расшифровка и краткий пересказ», формально не считается медицинским изделием, даже если фактически подсказывает клинические выводы, сам TGA признаёт, что часть таких программ, вероятно, уже нарушает закон. Согласие на запись оформляется по-разному и не всегда законно: где-то это просто табличка в приёмной, а некоторым пациентам, по данным DRW, вовсе отказывают в приёме, если они не соглашаются на ИИ. Зная, что их слушает программа, люди могут умалчивать о чувствительных темах, например, о домашнем насилии, и это тоже искажает данные для лечения. Ложная информация, попавшая в документы, способна повлиять не только на лечение: Ребекка Грин, например, опасалась, что упоминание наркотиков навредит её делу о компенсации за производственную травму. А сроки решения проблемы остаются расплывчатыми: TGA обещает результаты проверки «в ближайшие недели» без точной даты, а предложенный DRW независимый контроль через новый Институт безопасности ИИ пока остаётся только предложением.

«Я была ошеломлена, я плакала… там написано, что я принимаю [психоделические] грибы. Я никогда в жизни не пробовала грибы»

— Ребекка Грин, пациентка