Британский надзорный орган может проверить ИИ на базе GPT-4 в делах об убежище

Wired сообщает, что британский государственный надзорный орган, Независимый главный инспектор по границам и иммиграции (ICIBI), рассматривает возможность проверки того, как министерство внутренних дел Великобритании (Home Office) использует генеративные ИИ-инструменты при обработке заявлений на убежище. Поводом стали публичные сомнения депутатов и исследователей в точности этих инструментов и в закрытости их применения.

По словам Сары Альшериф, сотрудницы правозащитной организации Open Rights Group (ORG), ICIBI попросил ORG передать больше сведений об инструментах, инспекция составляет план тем на следующий год. Сам ICIBI заявил Wired, что не может подтвердить, какие темы рассматриваются, до публикации ежегодных приоритетов проверок, но знает о тревогах по поводу ИИ и сослался на свои выводы прошлого года: «эффективность и надёжность» одного из инструментов были «неоднородными». Решения о проверке пока нет, это лишь рассматриваемая возможность.

Home Office использует инструменты Asylum Case Summarisation (ACS, «обобщение дел об убежище») и Asylum Policy Search (APS, «поиск по политике в отношении убежища»). По документам, полученным ORG, они построены на модели OpenAI GPT-4 (версии 2023 года) и платформе Microsoft Foundry. Они обобщают стенограммы интервью с заявителями и сведения об их странах происхождения. Пилотный запуск начался в конце 2024 года, когда лейбористское правительство пыталось разгрести очередь примерно из 100 тысяч дел об убежище. По оценкам правительства, при совместном использовании инструменты экономят около часа на одном деле. Ведомство добилось заметного прогресса: за год по июнь число людей, ожидающих первого решения, сократилось вдвое, но число апелляций на решения резко выросло.

ORG по итогам шестимесячного расследования (11 парламентских вопросов, два письма министрам и 10 запросов о публичных документах) утверждает: доля резюме ACS, признанных непригодными к использованию, часто из-за фактических ошибок или искажений, существенно выше опубликованных 9% ошибок из пилотной оценки. Конкретная цифра ORG в тексте не названа. У APS, по данным ORG, нет контроля качества резюме. В июле судья в Британии обвинил Home Office в том, что при отказе в убежище марокканке с ребёнком ведомство сослалось на «галлюцинированный ИИ» документ.

Home Office заверяет: решения принимают обученные сотрудники, ИИ лишь помогает ориентироваться в записях интервью и справочной информации, использовать его изолированно нельзя, решений по заявлениям он не принимает. Ведомство также обязалось опубликовать обновлённые оценки по ходу внедрения.

Критики поднимают и другие вопросы. Рядовой депутат-лейборист Белл Рибейро-Эдди, Альшериф и Public Law Project опасаются, что «культурная предвзятость» GPT-моделей приведёт к языковым барьерам и потере культурных нюансов в резюме, а значит, к дискриминационным решениям (это опасение, а не установленный факт). Согласно британскому «AI Playbook», ведомства должны быть прозрачны и перечислять алгоритмические инструменты в публичном реестре, но ACS и APS там нет. Просители убежища не знают, что в их деле применяют эти инструменты. Юристы Cloisters в независимом заключении по заказу ORG указали, что невозможность оспорить неверное ИИ-резюме персональных данных может нарушать британское законодательство о правах на данные. Home Office в уведомлении о конфиденциальности указывает, что части процесса принятия решений могут быть автоматизированы.

ORG и Public Law Project передали выводы регулятору данных, Information Commission, который сейчас расследует отказ Home Office рассказать ORG, как сотрудники используют два ИИ-инструмента и как их обучали. Старший научный сотрудник Public Law Project Каролин Селман добавила, что ACS и APS, лишь два из 11 ИИ-систем высокого риска, которые её команда нашла в госсекторе и которых нет в публичном реестре. Представитель OpenAI сослался на работу над точностью моделей и отметил, что компания выведет GPT-4 из обращения в январе.

Ключевые факты

• ICIBI, надзорный орган за границами и иммиграцией в Британии, рассматривает проверку ИИ-инструментов Home Office и запросил данные у Open Rights Group; решение пока не объявлено.
• Инструменты ACS и APS на базе GPT-4 (2023) и Microsoft Foundry обобщают интервью и справки о странах происхождения; пилот начался в конце 2024 года, экономия, около часа на дело по оценкам правительства.
• По данным ORG, доля непригодных резюме ACS существенно выше опубликованных 9% ошибок; у APS нет контроля качества. В июле судья обвинил ведомство в ссылке на «галлюцинированный ИИ» документ.
• Инструментов нет в публичном реестре, просителей убежища о них не информируют; Information Commission расследует отказ Home Office раскрыть, как сотрудники их используют.
• Home Office утверждает, что решения принимают сотрудники, а ИИ лишь помогает и не принимает решений по заявлениям.

Почему это важно

Речь о нейросетях, которые участвуют в делах, где решается, можно ли вернуть человека в страну, где он опасается преследования. Государственная проверка такой практики стала бы заметным шагом: пока ICIBI лишь рассматривает тему и не подтверждает её включение в планы. Дело также показывает конфликт между скоростью (очередь около 100 тысяч дел, экономия около часа на дело) и точностью резюме.

Кому это важно

Просителям убежища и юристам, которые с ними работают; правозащитникам и исследователям алгоритмов в госуправлении; британским чиновникам и регуляторам. Также тем, кто внедряет генеративные модели в государственных процессах, где ошибка резюме может повлиять на судьбу человека.

Как это применить

Практический вывод для организаций, применяющих ИИ-резюмирование в чувствительных процессах: измерять и публиковать долю непригодных резюме, вводить контроль качества для всех инструментов (в APS, по данным ORG, его нет), вносить инструменты в публичные реестры и сообщать затронутым людям об использовании ИИ, чтобы они могли оспорить результат.

Можно ли доверять

Материал опирается на документы, полученные ORG, на заявления ICIBI, Home Office, OpenAI и участников дискуссии. Точная доля ошибок ACS по оценке ORG в тексте не названа, а утверждения о предвзятости и возможных нарушениях законодательства, это опасения и юридическое заключение, заказанное ORG, а не установленные выводы суда или регулятора. Проверка со стороны ICIBI пока не подтверждена.

Риски и подводные камни

Названные риски: фактические ошибки и искажения в резюме, культурная предвзятость моделей, языковые барьеры, отсутствие уведомления заявителей и возможное нарушение прав на данные. Ведомство настаивает, что ИИ не принимает решений, но критики указывают на закрытость и отсутствие инструментов в реестре. Также отмечено, что в январе OpenAI выведет GPT-4 из обращения; что будет с инструментами после этого, в материале не сказано.

«Мы имеем дело с человеческими жизнями. Речь о людях, переживших одни из худших обстоятельств, а решения нам предстоит принимать на основе фактов и понимания вреда. Я просто не считаю уместным, что этим занимаются машины.»

— Белл Рибейро-Эдди, депутат-лейборист, в разговоре с Wired