Новый метод проверки достижимости нейросетевых систем: Чебышёв вместо Тейлора
Препринт на arXiv посвящён вычислению множеств достижимости нелинейных систем, то есть областей, в которые система может попасть из заданного набора начальных состояний. По словам авторов, почти все современные методы делают это с помощью усечённых разложений Тейлора со строгими остаточными членами.
Проблема в том, что разложение Тейлора по природе точечное. Когда аргумент, не точка, а целое множество, один многочлен должен оставаться точным на всём множестве, а он работает лишь в пределах своего круга сходимости. Сильнее всего это ограничение бьёт по рациональным членам и сигмоидным вентилям (sigmoid gates) современных контроллеров. На вещественной оси они выглядят гладкими, но в комплексной плоскости обращаются в бесконечность в точках чуть в стороне от вещественной оси, и чем резче вентиль, тем ближе эти точки. Именно они ограничивают ширину множества, которую способно покрыть разложение Тейлора, причём жёстче всего, на поверхности переключения, где контроллер принимает решение.
Авторы доказывают дихотомию: никакая степень разложения Тейлора не сертифицирует множества шире этого предела, тогда как чебышёвская абстракция той же степени, привязанная ко всему множеству в том же конвейере полиномиальных зонотопов, предела не имеет и наращивает допустимую ширину с геометрической скоростью по степени. Измеренные «стены» (пределы ширины) совпадают с формулами на 89-94 процента.
Кроме того, авторы приводят замкнутые формулы строгих остаточных членов, в том числе, как они утверждают, первый полиномиальный преобразователь softmax; существующие корректные способы работы с ним, линейные релаксации. На замкнутых контурах управления сертификаты сохраняются там, где тейлоровские расходятся, а спецификации переходят из статуса «неизвестно» в «доказано». На обученных классификаторах, вплоть до настоящих цифр MNIST, чебышёвская граница сертифицирует область входов, которую тейлоровский базис отдаёт. Каждое сертифицированное утверждение прошло масштабные проверки методом Монте-Карло без единого нарушения, а карта применимости заранее указывает, где выбор базиса доказуемо не играет роли.
Ключевые факты
- Почти все современные методы расчёта множеств достижимости нелинейных систем опираются на усечённые разложения Тейлора со строгими остатками; у них есть доказуемый предел ширины сертифицируемого множества.
- Предел задаётся особыми точками в комплексной плоскости рядом с вещественной осью; он жёстче всего на поверхности переключения контроллера и для рациональных членов и сигмоидных вентилей.
- Чебышёвская абстракция той же степени в конвейере полиномиальных зонотопов предела не имеет и наращивает ширину с геометрической скоростью по степени; измеренные пределы совпадают с формулами на 89-94 процента.
- Заявлены замкнутые строгие остаточные члены, включая первый полиномиальный преобразователь softmax, а также сертификаты на замкнутых контурах и обученных классификаторах вплоть до цифр MNIST.
- Все сертифицированные утверждения прошли масштабные проверки методом Монте-Карло с нулём нарушений.
Почему это важно
Сертификация поведения систем с обучаемыми компонентами, контроллеров на нейросетях, классификаторов, требует строго доказывать, куда система может попасть. Авторы показывают, что у распространённого подхода на основе разложения Тейлора есть не просто практическая слабость, а доказуемый потолок по ширине множества, и этот потолок сильнее всего проявляется там, где контроллер принимает решения. Чебышёвская абстракция, по их доказательству, такого потолка не имеет. Это теоретический результат о причине отказов, а не только очередной эвристический приём.
Кому это важно
Прежде всего исследователям формальной верификации, анализа достижимости и сертификации нейросетевых контроллеров и классификаторов. Работа также касается тех, кто строит инструменты на полиномиальных зонотопах и сталкивается с расхождением сертификатов при росте размера входного множества.
Как это применить
Из аннотации следует, что чебышёвская абстракция встраивается в тот же конвейер полиномиальных зонотопов, что и тейлоровская, то есть заменяется базис, а не вся схема. Авторы также приводят карту применимости, которая заранее показывает, где выбор базиса доказуемо не имеет значения, так что можно оценить, стоит ли переходить на новый базис. О выпуске кода или программной реализации в аннотации не говорится.
Можно ли доверять
Это препринт: в аннотации не указаны авторы, организации, дата подачи, площадка публикации и статус рецензирования. Результаты, утверждения самих авторов, независимой проверки в тексте нет. Из подтверждений названы совпадение измеренных пределов с формулами на 89-94 процента (не уточнено, среднее это, минимум или диапазон) и отсутствие нарушений в масштабных проверках методом Монте-Карло; число выборок не приведено.
Риски и подводные камни
В аннотации нет конкретных чисел по степеням, ширине множеств и времени вычислений, кроме совпадения с формулами на 89-94 процента, поэтому оценить практический выигрыш и затраты нельзя. Не указаны размеры классификаторов MNIST и тестовые замкнутые системы. Сравнение проводится с методами на основе Тейлора; других инструментов аннотация не называет. Проверки методом Монте-Карло могут лишь не обнаружить нарушений, но не доказывают корректность, а карта применимости прямо говорит, что в ряде случаев базис не имеет значения.
«Мы доказываем дихотомию: ни одна степень Тейлора не сертифицирует множества шире этого предела, тогда как чебышёвская абстракция той же степени, привязанная ко всему множеству в том же конвейере полиномиальных зонотопов, предела не имеет и наращивает ширину с геометрической скоростью по степени.»
— Из аннотации препринта arXiv 2611.23246