G-SHARE: ИИ находит человеческий фактор в отчётах АЭС
На атомных электростанциях любое нештатное происшествие фиксируют в текстовом отчёте, и часть работы по разбору таких случаев, понять, какую роль сыграл человеческий фактор: ошибка оператора, нарушение процедуры, неверная реакция на ситуацию и так далее. Такой разбор в атомной отрасли ведут по формальным пошаговым методикам, и качество вывода сильно зависит от того, насколько аккуратно эксперт следует этим правилам и интерпретирует текст отчёта. Авторы статьи отмечают, что более ранние попытки поручить эту работу ИИ, либо обучение отдельного классификатора на данных, либо просьба к большой языковой модели «в один заход» прочитать отчёт и выдать диагноз, работают ненадёжно: рассуждение получается неструктурированным, слабо привязанным к официальной методике, а выводы порой противоречат друг другу.
Чтобы решить эту проблему, авторы предложили G-SHARE, систему, которая переводит существующую отраслевую девятиступенчатую методику CNNP для диагностики человеческого фактора в явный многоэтапный конвейер обработки текста. Работа устроена в три стадии. Сначала система извлекает из текста отчёта конкретные факты-свидетельства, что произошло, кто и что делал, при каких условиях. Затем она пошагово, следуя всем девяти шагам методики, рассуждает над этими фактами и на каждом шаге фиксирует промежуточный вывод: результат получается не «чёрным ящиком» с готовым ответом, а видимой цепочкой рассуждений, которую можно проверить. На последнем этапе отдельный проход проверяет итоговый диагноз на логическую непротиворечивость и исправляет несостыковки, если вывод на одном из шагов противоречит фактам или другим шагам.
Для проверки метода команда собрала набор данных из реальных отчётов о случаях, связанных с человеческим фактором, взятых из источников китайской атомной отрасли, а часть этого набора эксперты-практики вручную разметили эталонными диагнозами, именно на этой размеченной части систему и сравнивали с альтернативами.
G-SHARE заметно превзошёл как разовые запросы к языковой модели, так и классические модели машинного обучения, обученные для этой же задачи: по точности классификации и по метрике macro-F1 (усреднённая оценка качества по всем категориям диагноза, а не только по самым частым) лучшая версия системы показала лучший результат среди всех проверенных подходов. Точные числовые показатели в статье не приводятся.
Отдельно авторы проверили, за счёт чего именно достигается улучшение: они по очереди отключали части конвейера, пошаговое рассуждение и финальную проверку на непротиворечивость. Оказалось, что оба компонента важны для устойчивого результата, и особенно заметно это проявляется, когда исходные инструкции для модели сформулированы слабо: именно структура рассуждения и финальная проверка компенсируют недостатки простого промпта.
Вывод авторов: превращение готовой экспертной методики диагностики в прозрачный, пошаговый и проверяемый ИИ-конвейер, рабочий и практичный путь к автоматизации подобного анализа не только в атомной энергетике, но и в других отраслях, где решения должны быть безопасными и обоснованными.
Ключевые факты
- G-SHARE, ИИ-система для диагностики человеческого фактора в происшествиях на АЭС: три стадии, извлечение фактов из отчёта, пошаговое рассуждение по методике, финальная проверка на непротиворечивость.
- В основе системы, реальная девятиступенчатая отраслевая методика CNNP для разбора таких случаев: G-SHARE не угадывает диагноз одним ответом, а явно проходит все её шаги.
- Для проверки собрали набор данных из настоящих отчётов источников китайской атомной отрасли; часть с диагнозами вручную разметили эксперты-практики, по ней и сравнивали подходы.
- G-SHARE обходит по точности и по метрике macro-F1 и разовый запрос к языковой модели, и классические модели машинного обучения; точные цифры в статье не названы.
- Проверка по частям, поочерёдное отключение пошагового рассуждения и финальной проверки, показала: важны оба компонента, особенно при слабо сформулированных инструкциях для модели.
Почему это важно
Разбор происшествий, связанных с человеческим фактором, обязательная часть работы атомной отрасли: по такому анализу принимают корректирующие меры, чтобы похожая ситуация не повторилась, а сам разбор ведут по строгой формальной методике. Раньше попытки переложить эту работу на ИИ, обучить отдельный классификатор или просто попросить языковую модель прочитать отчёт и сразу выдать диагноз, давали ненадёжный результат: рассуждение было непрозрачным и могло быть внутренне противоречивым, а это недопустимо там, где от вывода зависят решения по безопасности. G-SHARE показывает, что если явно привязать ИИ к реальной пошаговой методике эксперта и добавить отдельную проверку на непротиворечивость, точность растёт, а сам процесс рассуждения становится видимым и проверяемым, а не «чёрным ящиком».
Кому это важно
В первую очередь, подразделениям атомных станций и регуляторам, которые занимаются разбором происшествий и учётом человеческого фактора: такой анализ трудоёмкий, требует экспертизы и ведётся по строгим правилам, поэтому инструмент, ускоряющий и структурирующий эту работу, для них прямая польза. Дальше, специалистам по безопасности в других отраслях с похожей культурой разбора инцидентов по формальным чек-листам: авиация, химическая промышленность, добыча нефти и газа, где тоже есть пошаговые методики расследования. И отдельно, разработчикам ИИ-систем для ответственных областей: подход G-SHARE (извлечение фактов → пошаговое рассуждение по готовой методике → проверка на непротиворечивость), это общий рецепт, который можно переносить на другие задачи, где нужен не просто ответ модели, а прозрачная и проверяемая цепочка рассуждений.
Как это применить
Схема G-SHARE переносима: если в организации уже есть формальная пошаговая методика разбора случаев, чек-лист, регламент, инструкция для экспертов, её можно не просто скормить языковой модели текстом в промпте, а превратить в отдельный конвейер: сначала извлечение конкретных фактов из текста, затем прогон через все шаги методики с фиксацией промежуточных выводов, затем отдельная проверка итогового диагноза на логические противоречия. Важная оговорка: G-SHARE, исследовательский прототип, проверенный на наборе данных из китайской атомной отрасли с разметкой от экспертов, а не готовый к использованию продукт; чтобы применить этот подход в другой организации или отрасли, придётся адаптировать конвейер под свою методику и собрать похожий размеченный набор данных для проверки.
Можно ли доверять
У работы есть методологические плюсы: систему проверяли не на синтетических примерах, а на реальных отчётах из китайской атомной отрасли, а эталонные диагнозы для сравнения проставили эксперты-практики, а не сами авторы. Сравнение шло с двумя разумными базовыми подходами, разовым запросом к языковой модели и классическим машинным обучением, а дополнительная проверка по частям (поочерёдное отключение компонентов) показала, что прирост качества даёт именно структура системы, а не просто использование ИИ как такового. Из ограничений: это препринт с arXiv, о прохождении рецензирования в журнале или на конференции в тексте не сообщается; точные числовые показатели точности и объём набора данных не приведены, а какая именно языковая модель лежит в основе системы, из описания не ясно, независимо проверить масштаб улучшения по одному только тексту работы нельзя.
Риски и подводные камни
Методика и данные заточены под конкретную девятиступенчатую процедуру CNNP и китайскую атомную отрасль, насколько подход перенесётся на другие регламенты, страны или отрасли, статья не проверяет. Финальная проверка на непротиворечивость ловит только логические противоречия внутри вывода, но не гарантирует, что на более раннем шаге, извлечении фактов из текста, языковая модель не ошиблась и не упустила важную деталь: ошибка на входе конвейера может остаться незамеченной. И главное: раз речь идёт о разборе происшествий на атомной станции, любое реальное применение подобной системы для помощи в выводах о причинах случившегося потребует куда более строгой независимой проверки и регуляторного контроля, чем демонстрация точности на тестовом наборе данных в научной статье.