Qwen3 8B и Mistral 7B меняют скрининг болезни почек от страны в промпте
В работе на arXiv проверяли, влияет ли географический контекст в запросе к большой языковой модели на скрининг хронической болезни почек (ХБП), независимо от каких-либо изменений в данных самого пациента. Нейросети уже умеют рассуждать без дополнительного обучения (zero-shot), но их чувствительность к контексту запроса ставит под вопрос надёжность в реальном применении.
Для опыта взяли данные обследования населения в Бангладеш: 284 участника, из них 112 с ХБП и 172 без неё. Страну в запросе последовательно меняли на одну из 25 стран мира, а все клинические данные оставляли прежними. Оценивали две открытые модели, Qwen3 8B и Mistral 7B. Эксперименты проводили на подмножестве из 156 участников, для которых обе модели в исходном (базовом) запросе дали верный прогноз.
Результаты асимметричны. Прогнозы «нет ХБП» были очень устойчивы: обе модели почти во всех вариантах стран давали один и тот же ответ. Прогнозы «ХБП есть» оказались заметно чувствительнее к стране. У Qwen3 показатель прогноза ХБП снизился с базового значения 65 до 50 в самом неблагоприятном из вариантов стран (единица измерения в аннотации не указана). У Mistral разброс был меньше, но не пренебрежимо мал.
Страны не группировались по известному сходству эпидемиологической обстановки или систем здравоохранения. По словам авторов, группы, по-видимому, отражают то, как токены стран устроены внутри каждой модели. Вывод авторов: географические токены способны систематически сдвигать результаты клинического скрининга при одинаковых входных данных пациента, а это важно для применения ИИ-поддержки врачебных решений в разных странах и системах здравоохранения.
Ключевые факты
- Менялась только страна в запросе (25 вариантов), клинические данные пациентов оставались неизменными.
- Данные: 284 участника из Бангладеш (112 с ХБП, 172 без); опыты на подмножестве из 156 человек, которых обе модели верно классифицировали в базовом запросе.
- Прогнозы «нет ХБП» почти не менялись, а прогнозы «ХБП есть» были заметно чувствительнее к стране.
- У Qwen3 8B показатель прогноза ХБП упал с базовых 65 до 50 в худшем варианте страны; у Mistral 7B разброс меньше, но заметен.
- Группировка стран не совпала с эпидемиологическим или медицинским сходством, а, по словам авторов, отражает внутреннее представление токенов стран в модели.
Почему это важно
Результат показывает, что простое упоминание страны в запросе может менять медицинский прогноз при тех же самых данных пациента. Для систем поддержки врачебных решений на основе нейросетей это вопрос надёжности: ответ не должен зависеть от несущественных деталей запроса. Авторы подчёркивают, что сдвиги системные, а не случайные, и что страны группируются не по медицинскому сходству, а по внутреннему устройству модели.
Кому это важно
Разработчикам и командам, которые встраивают языковые модели в медицинские сервисы и скрининговые инструменты, особенно если запросы содержат указание на страну или регион. Также исследователям, изучающим устойчивость и предвзятость моделей, и тем, кто оценивает применимость ИИ-поддержки в разных системах здравоохранения.
Как это применить
Практический вывод осторожный: при проверке медицинских применений моделей стоит отдельно тестировать, меняются ли ответы при смене страны или другого нейтрального контекста в запросе, не меняя клинические данные. Особое внимание, ответам «болезнь есть», потому что именно они оказались чувствительнее. Способов исправления в аннотации не предложено.
Можно ли доверять
Это научная работа на arXiv; выводы в пересказе, выводы самих авторов, основанные на аннотации. Опыт ограничен: один набор данных (284 участника из Бангладеш), 25 вариантов стран и две небольшие открытые модели, Qwen3 8B и Mistral 7B. Единица измерения показателей 65 и 50 в аннотации не указана, поэтому сравнивать эти числа с другими метриками нельзя.
Риски и подводные камни
Результаты нельзя переносить на другие модели, включая более крупные или закрытые: в аннотации они не тестировались. Эксперименты шли только на 156 участниках, которых обе модели верно классифицировали в базовом запросе, и только в режиме zero-shot. О дообученных или уже работающих клинических системах авторы выводов не делают. Конкретные страны с наибольшим сдвигом и численные результаты Mistral в аннотации не приведены.
«Географические токены способны систематически сдвигать результаты клинического скрининга при одинаковых входных данных пациента.»
— Авторы исследования, аннотация на arXiv