Исследователь предложил PI-CP, способ надёжно оценивать неопределённость нейросетей, решающих уравнения физики

Нейронные операторы, нейросети, которые вместо одной конкретной задачи учатся приближать решения целого семейства дифференциальных уравнений в частных производных, уже показывают высокую точность; один из самых известных примеров, нейронный оператор Фурье (FNO), быстро и точно аппроксимирует такие решения. Но, как отмечает автор новой работы, строгая оценка неопределённости для подобных сетей остаётся открытой проблемой: FNO выдаёт предсказание, но не говорит, насколько ему можно доверять в конкретной точке. Автор предлагает физически информированное конформное предсказание (Physics-Informed Conformal Prediction, PI-CP), метод, который встраивает невязку уравнения (насколько предсказание сети не удовлетворяет самому уравнению в частных производных) прямо в меру неконформности конформного предсказания с разбиением выборки (split conformal prediction), статистического аппарата, который по калибровочным данным строит интервал вокруг предсказания модели. Получившийся интервал не опирается на предположения о распределении данных и несёт доказуемую гарантию покрытия, математически обоснованную долю случаев, когда истинное значение действительно попадает в интервал, а также пространственно адаптивен: если невязка уравнения коррелирует с ошибкой предсказания, интервал сужается в точках, где физика хорошо соблюдена, и расширяется там, где она нарушена.

Отдельно автор доказывает более узкий теоретический результат: эквивариантность FNO относительно сдвига входных данных создаёт принципиальный барьер точности именно для уравнений с граничными условиями Дирихле, условиями, которые жёстко фиксируют значение решения на границе области. Добавление в сеть координатных каналов, дополнительных входных каналов, кодирующих положение точки, снимает этот барьер и сокращает ошибку вплоть до 63 раз.

PI-CP проверен на шести физических сценариях: двумерной и трёхмерной теплопроводности, двумерной и трёхмерной механике конструкций, течении Дарси (фильтрации в пористой среде) и течении, которое описывается уравнениями Навье, Стокса. На всех шести сценариях четыре проверенных метода конформного предсказания стабильно держат покрытие в диапазоне 89, 91%, тогда как MC Dropout и Deep Ensembles, два других способа оценки неопределённости, взятых для сравнения, ведут себя нестабильно: их покрытие колеблется от 82% до 100% в зависимости от сценария. Отдельно от вопроса неопределённости, по базовой точности предсказаний сам FNO превосходит архитектуры CNN (свёрточную нейросеть) и DeepONet (ещё одну архитектуру нейронного оператора) в 10, 12 раз.

Ключевые факты

PI-CP встраивает невязку дифференциального уравнения в меру неконформности конформного предсказания с разбиением выборки: получившиеся для нейросетей вроде FNO интервалы предсказания не опираются на предположения о распределении данных, несут доказуемую гарантию покрытия и, если невязка уравнения коррелирует с ошибкой предсказания, сужаются или расширяются в зависимости от того, насколько хорошо предсказание согласуется с уравнением в конкретной точке.
Отдельно автор доказывает, что эквивариантность FNO относительно сдвига создаёт принципиальный барьер точности для уравнений с граничными условиями Дирихле, и показывает, что добавление в сеть координатных каналов снимает этот барьер, сокращая ошибку вплоть до 63 раз.
На шести физических сценариях (2D- и 3D-теплопроводность, 2D- и 3D-механика конструкций, течение Дарси, течение по уравнениям Навье, Стокса) все четыре проверенных метода конформного предсказания стабильно держат покрытие в диапазоне 89, 91%, тогда как MC Dropout и Deep Ensembles нестабильны, от 82% до 100%.
По базовой точности предсказаний сам FNO превосходит архитектуры CNN и DeepONet в 10, 12 раз.
Это препринт на arXiv: в тексте не названы организации; сопоставления вычислительных затрат PI-CP с MC Dropout и Deep Ensembles тоже нет.

Почему это важно

Нейронные операторы вроде FNO приближают решения дифференциальных уравнений в частных производных быстрее классических численных методов, это уже ценно для инженерных расчётов теплопроводности, механики конструкций, фильтрации жидкости и гидродинамики. Но до сих пор такие сети выдавали только само предсказание, без строгого ответа на вопрос, насколько ему можно доверять в конкретной точке: автор работы прямо называет строгую оценку неопределённости для нейронных операторов открытой проблемой. PI-CP закрывает именно этот пробел, увязывая оценку неопределённости с самим уравнением: ширина интервала предсказания зависит от того, насколько ответ сети согласуется с физикой в этой точке, при условии что невязка уравнения коррелирует с ошибкой предсказания, а гарантия покрытия при этом не требует знания истинного распределения данных.

Кому это важно

Инженерам и исследователям, которые уже используют нейросетевые модели вместо классических численных решателей для расчётов теплопроводности, механики конструкций, фильтрации жидкости или гидродинамики, там, где ошибочное предсказание без честной оценки неопределённости может дорого стоить. Специалистам по машинному обучению, которые занимаются конформным предсказанием и оценкой неопределённости в целом: PI-CP, конкретный пример того, как встроить знание о задаче (само уравнение) в статистический аппарат общего назначения. Отдельно, тем, кто строит или использует архитектуры на основе FNO для задач с граничными условиями Дирихле: доказанный в той же работе барьер точности и способ его снять напрямую касаются точности их моделей, независимо от вопроса неопределённости.

Как это применить

Практический рецепт, который следует из текста: взять предсказание нейронного оператора (например, FNO) для конкретной физической задачи, посчитать невязку, насколько это предсказание не удовлетворяет исходному уравнению в каждой точке, и включить эту невязку в меру неконформности при калибровке конформного предсказания с разбиением выборки. На выходе, интервал вокруг предсказания в каждой точке, который, если невязка уравнения коррелирует с ошибкой предсказания, сужается там, где физика соблюдена, и расширяется там, где нарушена, при сохранении общей гарантии покрытия. Если задача, с граничными условиями Дирихле, отдельная рекомендация из той же работы: добавить в сеть координатные каналы, что, по данным автора, сокращает ошибку вплоть до 63 раз.

Можно ли доверять

Это препринт на arXiv: в тексте не названы ни организации, ни статус рецензирования. Цифры о покрытии (89, 91% для конформных методов, 82, 100% для MC Dropout и Deep Ensembles) получены на шести сценариях, которые построил сам автор. При этом заявленное свойство «без предположений о распределении данных, с доказуемой гарантией покрытия», не рекламная формулировка, а математическое свойство самой схемы конформного предсказания: гарантия следует из конструкции метода, а не только из измерения на конкретных данных. Сопоставления вычислительных затрат PI-CP с MC Dropout и Deep Ensembles в тексте нет.

Риски и подводные камни

Заявленное 63-кратное сокращение ошибки от координатных каналов измерено именно для уравнений с граничными условиями Дирихле, переносить эту цифру на другие типы граничных условий не стоит. Сопоставления вычислительных затрат PI-CP с MC Dropout и Deep Ensembles нет. И ещё одно практическое наблюдение: нестабильность MC Dropout и Deep Ensembles, от 82% до 100% в зависимости от сценария, означает, что на части из шести сценариев эти привычные методы недооценивают или переоценивают неопределённость, то есть выбор способа её оценки для нейронного оператора ощутимо влияет на то, можно ли доверять итоговому интервалу.