Halo повышает точность прогноза временных рядов через оценку неопределённости

Гетероскедастическое прогнозирование, когда нейросеть оценивает не только сам прогноз (параметр положения), но и параметр разброса, или масштаба, вокруг него, обычно применяют ради количественной оценки неопределённости: модель показывает не просто число, а насколько она в нём уверена. Считалось, что на точность самого точечного прогноза это не влияет, а для задач за пределами анализа временных рядов встречались даже отрицательные результаты. Новая работа показывает обратное для временных рядов: оценка разброса дополнительно повышает точность самого точечного прогноза.

Авторы предлагают модификацию Halo: она берёт архитектуру уже существующей нейросети-прогнозиста, добавляет ей второй выход, для параметра разброса предполагаемого распределения ошибки, и обучает сеть по отрицательному логарифмическому правдоподобию вместо обычной функции потерь, ориентированной только на точечный прогноз. Модификацию проверили на трёх современных архитектурах, трансформере, графовой сети в паре с вариационным автоэнкодером и однослойной свёрточной сети, при двух вариантах распределения ошибки, гауссовском и лапласовском.

Проверка шла на пяти рынках цен на электроэнергию из стандартного отраслевого бенчмарка для прогнозирования; конкретное название бенчмарка и абсолютные значения ошибок в тексте не приводятся, только относительные изменения. Halo улучшил оба показателя точности, среднеквадратичную ошибку (MSE) и среднюю абсолютную ошибку (MAE), в 28 из 30 сочетаний «модель × рынок × метрика» (3 модели × 5 рынков × 2 метрики). В среднем MSE снизилась на 2,6, 16,5%, а MAE, на 1,7, 11,0%, в зависимости от модели и рынка.

Авторы делают два вывода. Во-первых, важен сам факт, что сеть оценивает разброс, а не то, как устроен второй выход: небольшая дополнительная «голова» поверх существующей архитектуры работает почти так же хорошо, как полноценная параллельная сеть для оценки разброса. Во-вторых, выигрыш сохраняется на тех же гиперпараметрах, что уже были подобраны для базовой модели без оценки разброса, то есть повторная настройка гиперпараметров для его получения не обязательна.

Ключевые факты

Гетероскедастическая модификация Halo добавляет нейросети-прогнозисту второй выход, оценку разброса (неопределённости) ошибки, и это повышает не только оценку риска, но и точность самого точечного прогноза.
Проверка на трёх архитектурах (трансформер, графовая сеть с вариационным автоэнкодером, однослойная свёрточная сеть) и двух распределениях ошибки (гауссовском и лапласовском) на пяти рынках цен на электроэнергию: Halo улучшил точность в 28 из 30 сочетаний «модель × рынок × метрика».
В среднем среднеквадратичная ошибка (MSE) снизилась на 2,6, 16,5%, средняя абсолютная ошибка (MAE), на 1,7, 11,0%, в зависимости от модели и рынка.
Выигрыш сохраняется на гиперпараметрах, уже подобранных для базовой модели без оценки разброса, их повторная настройка для этого не обязательна.
Важнее сам факт оценки разброса, а не устройство второго выхода: небольшая дополнительная «голова» почти не уступает полноценной параллельной сети, которая оценивает разброс отдельно.

Почему это важно

Нейросети, прогнозирующие временные ряды, например, цены на электроэнергию, обычно учат выдавать одно число: точечный прогноз. Гетероскедастическое прогнозирование добавляет к этому числу оценку разброса (неопределённости) вокруг него, но раньше это делали почти исключительно ради количественной оценки риска, чтобы показать, насколько прогнозу можно доверять, а не чтобы улучшить сам прогноз. За пределами анализа временных рядов у такой оценки разброса встречались даже отрицательные результаты для точности. Работа показывает, что для временных рядов это не так: оценка разброса заодно повышает точность самого точечного прогноза, и для этого достаточно добавить существующей архитектуре один лишний выход и поменять функцию потерь, без переработки самой сети и без повторной настройки гиперпараметров.

Кому это важно

Тем, кто уже строит или использует нейросетевые модели прогнозирования временных рядов на основе глубокого обучения, метод проверен на прогнозе цен на электроэнергию, но лежащий в его основе приём не привязан к этой отрасли: модификация применена к трём разным типам архитектур, трансформеру, графовой сети с вариационным автоэнкодером и свёрточной сети, а не к одной специализированной модели. Полезно и исследователям, которые изучают связь между количественной оценкой неопределённости и точностью прогноза: работа даёт конкретный контрпример к отрицательным результатам, которые ранее сообщались для гетероскедастической оценки за пределами анализа временных рядов.

Как это применить

Технически Halo, это добавление второго выхода к уже готовой архитектуре нейросети-прогнозиста: вместо одного числа (точечного прогноза) сеть выдаёт ещё и параметр разброса предполагаемого распределения ошибки, а обучается по отрицательному логарифмическому правдоподобию под гауссовское или лапласовское распределение, вместо обычной функции потерь для точечного прогноза. Авторы отдельно проверили, что не принципиально, реализован ли этот второй выход как небольшая дополнительная «голова» поверх существующей сети или как полноценная параллельная сеть: важен сам факт, что модель оценивает разброс, а не конкретная форма этой оценки. Практический плюс, выигрыш сохраняется на гиперпараметрах, уже подобранных для базовой модели без оценки разброса, то есть их повторный подбор для получения эффекта необязателен. Публикуют ли авторы код или данные для воспроизведения экспериментов, в тексте не сказано.

Можно ли доверять

Это препринт на arXiv: имя автора (или авторов), организация и дата публикации в тексте не указаны, поэтому оценить их опыт или принадлежность по одному этому источнику нельзя. Результаты получены самими авторами на пяти рынках цен на электроэнергию из бенчмарка, название которого в тексте не приведено, известно только, что он охватывает эти пять рынков и считается стандартным для задачи прогнозирования. Конкретные названия трёх адаптированных архитектур в тексте тоже не даны, только общие описания («трансформер», «графовая сеть с вариационным автоэнкодером», «однослойная свёрточная сеть»), как и данные о доступности кода или моделей. Цифры представлены как относительное изменение, процент снижения ошибки и число выигранных сочетаний «модель × рынок × метрика», а не абсолютные значения MSE и MAE, поэтому напрямую сравнить точность Halo с другими опубликованными методами по этим показателям нельзя. При этом методология выглядит систематической, а не единичным удачным случаем: модификация проверена на трёх разных архитектурах и двух формах распределения ошибки, а не на одной модели или одном наборе допущений.

Риски и подводные камни

Улучшение не абсолютное: в 2 из 30 сочетаний «модель × рынок × метрика» Halo точность не улучшил, выигрыш не гарантирован в каждом отдельном случае. Проверка охватывает пять рынков цен на электроэнергию из одного бенчмарка и три архитектуры, три модели и один прикладной домен сами по себе не дают основания для выводов о более широком классе моделей, доменов или типов временных рядов. Абсолютные значения MSE и MAE в тексте не приведены, есть только относительное снижение ошибки в процентах и число сочетаний, где оно случилось, поэтому оценить практический масштаб выигрыша в величинах, значимых для конкретной задачи (например, в деньгах для рынка электроэнергии), по этому тексту нельзя. Модификация опробована при двух формах распределения ошибки, гауссовском и лапласовском, то есть при относительно простых, одномодальных предположениях о характере ошибки прогноза.