LLT: локально-линейный трансформер для решения уравнений в частных производных

Нейросетевые операторы (neural operators), это модели, которые обучаются напрямую отображать входные данные задачи (геометрию, граничные условия) в решение уравнения в частных производных, заменяя часть дорогостоящих численных расчётов. Трансформерная архитектура с механизмом внимания хорошо подходит для таких задач, потому что умеет учитывать дальние взаимосвязи между точками расчётной области. Но у стандартного внимания два известных недостатка: вычислительная сложность растёт квадратично с числом узлов сетки, а сам механизм не имеет встроенного смещения в сторону локальных (соседних) взаимодействий, которые физически важны для большинства уравнений.

Авторы предлагают архитектуру Local Linear Transformer (LLT), которая совмещает линейное глобальное внимание (с линейной, а не квадратичной сложностью) с отдельным механизмом локального пространственного смешивания признаков соседних узлов, а также явно учитывает координаты и геометрию расчётной области.

Модель протестировали на нескольких классических задачах PDE-моделирования: упругость (elasticity), пластичность (plasticity), обтекание профиля крыла (airfoil flow), течение в трубе (pipe flow) и течение в пористой среде (Darcy flow). Эталонные данные для сравнения получены разными численными методами, методом конечных элементов, методом конечных объёмов и методом конечных разностей, на структурированных и неструктурированных сетках. По сравнению с другими нейросетевыми операторами и трансформерными архитектурами из предыдущих работ LLT показала сопоставимую или более низкую относительную ошибку L2 (стандартная метрика точности приближения решения). На одинаковых структурированных сетках время одной итерации обучения у LLT в 1,8, 2,5 раза меньше, чем у сопоставимой архитектуры Transolver.

Отдельно авторы проверили масштабируемость подхода на трёхмерной задаче аэродинамики автомобиля с неструктурированной расчётной сеткой из 32 186 узлов на один образец, то есть на существенно более крупной и сложной геометрии, чем классические двумерные тестовые задачи.

Вывод авторов: LLT даёт точный и вычислительно эффективный оператор для широкого круга PDE-задач, разных типов дискретизации, разных видов сеток и разных постановок.

Ключевые факты

LLT (Local Linear Transformer), новая архитектура нейросетевого оператора для решения уравнений в частных производных (PDE)
Совмещает линейное глобальное внимание (линейная, а не квадратичная сложность) с локальным пространственным смешиванием и явным учётом геометрии
Протестирована на упругости, пластичности, обтекании профиля крыла, течении в трубе и течении в пористой среде на разных типах сеток и дискретизаций
Точность (относительная ошибка L2) сопоставима или выше, чем у прежних нейросетевых операторов и трансформеров
На одинаковых сетках обучение в 1,8, 2,5 раза быстрее, чем у Transolver; проверена масштабируемость на 3D-задаче аэродинамики автомобиля (32 186 узлов на образец)

Почему это важно

Численное моделирование по уравнениям в частных производных (расчёты прочности, течений жидкости и газа, диффузии), вычислительно дорогая задача, и нейросетевые операторы призваны её ускорить, обучаясь напрямую предсказывать решение. Трансформеры с вниманием хорошо ловят дальние зависимости в расчётной области, но стандартное внимание масштабируется квадратично по числу узлов сетки и не имеет встроенного смещения к локальным (соседским) взаимодействиям, которые физически важны для большинства уравнений. LLT решает оба недостатка сразу: линейное по сложности глобальное внимание плюс отдельный механизм локального смешивания признаков соседних узлов.

Кому это важно

Работа адресована исследователям и инженерам, использующим машинное обучение для ускорения инженерного моделирования, расчётов прочности конструкций (упругость, пластичность), аэродинамики (обтекание крыла, аэродинамика автомобиля) и течений в трубах и пористых средах. Также релевантно разработчикам архитектур нейросетевых операторов, ищущим более быстрые и точные альтернативы существующим трансформерным моделям вроде Transolver.

Как это применить

LLT протестирована на пяти типах задач (упругость, пластичность, обтекание профиля крыла, течение в трубе, течение в пористой среде) с эталонными данными от методов конечных элементов, конечных объёмов и конечных разностей на структурированных и неструктурированных сетках. На одинаковых структурированных сетках время одной итерации обучения сократилось в 1,8, 2,5 раза относительно Transolver при сопоставимой или лучшей точности. Масштабируемость подхода дополнительно проверена на трёхмерной задаче аэродинамики автомобиля с неструктурированной сеткой из 32 186 узлов на образец, то есть на практически значимом по размеру и сложности кейсе, а не только на упрощённых 2D-тестах.

Можно ли доверять

Это препринт arXiv, то есть результаты пока не прошли независимое рецензирование. При этом авторы сравнивают модель с несколькими существующими нейросетевыми операторами и трансформерными базовыми моделями по единой метрике (относительная ошибка L2) на нескольких независимых задачах и типах сеток, что повышает доверие к заявленным цифрам точности и ускорения. Подтверждение, воспроизведение результатов независимыми группами и/или публикация после рецензирования.

Риски и подводные камни

Сравнения ускорения (1,8, 2,5x) приведены только относительно одной конкретной архитектуры (Transolver) и только на структурированных сетках, на других базовых моделях или типах сеток выигрыш может отличаться. Масштабируемость на действительно крупные трёхмерные задачи продемонстрирована пока на одном датасете (аэродинамика автомобиля), а не на широком наборе промышленных кейсов. Смещение архитектуры в сторону локальных взаимодействий, которое даёт выигрыш в скорости, потенциально может снижать точность для задач, где критичны именно дальние глобальные корреляции, в тексте это ограничение явно не разобрано.