Новый метод генерации временных рядов по неполным данным: EM-цикл вместо однократного заполнения пропусков
Задачу генерации обычных (регулярных) временных рядов по нерегулярным, то есть неполным, данным обычно сводят к однократному заполнению пропусков: каждую неполную последовательность один раз достраивают, достроенные варианты замораживают и на получившемся суррогатном наборе данных обучают генератор. Авторы препринта на arXiv утверждают, что такая «разомкнутая» стратегия структурно ущербна.
Доводы такие. Точечные методы заполнения (point imputers) сводят неоднозначные пропущенные участки к условным средним значениям. Стохастические методы заполнения по мере обучения генератора устаревают, потому что генератор меняется, а достроенные данные остаются прежними. Отсюда вывод авторов: узкое место не в устройстве метода заполнения, а в отсутствии итераций.
Предложенное решение, совместно развивающийся (co-evolving) вариант Monte Carlo EM, который замыкает цикл между заполнением пропусков и генератором. На каждом шаге E-step пропущенные значения выбираются из апостериорного распределения текущего генератора. На каждом шаге M-step генератор переобучается на этих достроенных данных, при этом обучение генератора остаётся безусловным (без привязки к условиям).
Ещё одна проблема: диффузионная априорная модель работает в «поднятом» двумерном представлении (lifted 2D representation), а наблюдения лежат в пространстве самих временных рядов. Для этого авторы вводят метод Posterior Sampling for Lifted Representations (PSLR). На шаге E-step он обеспечивает согласованное с оператором обусловливание (operator-consistent conditioning), сохранение неопределённости и согласованность с многообразием данных (manifold consistency).
Результаты по заявлению авторов: на десяти наборах данных и в четырёх режимах порчи данных метод показывает лучший уровень (state-of-the-art). Относительно сильнейших базовых методов улучшение составляет 59% по discriminative score, 15% по predictive score, 73% по Context-FID и 71% по ошибке корреляции признаков. Абляции показывают, что подход снижает средний discriminative score на 73% по сравнению с одношаговыми базовыми методами и закрывает большую часть оставшегося разрыва с «оракулом» на чистых данных. Код выложен в репозитории azencot-group/PSLR на GitHub.
Ключевые факты
- Типичный подход (заполнить пропуски один раз, заморозить и обучить генератор) авторы называют структурно ущербным: точечные методы схлопывают неоднозначные участки в средние, а стохастические устаревают по мере обучения генератора.
- Предложен совместно развивающийся Monte Carlo EM: на E-step пропуски выбираются из апостериорного распределения текущего генератора, на M-step генератор переобучается на этих достроенных данных.
- Метод PSLR нужен, потому что диффузионная априорная модель работает в поднятом двумерном представлении, а наблюдения лежат в пространстве временных рядов.
- Заявленное улучшение над сильнейшими базовыми методами: 59% по discriminative score, 15% по predictive score, 73% по Context-FID, 71% по ошибке корреляции признаков (десять наборов данных, четыре режима порчи данных).
- Абляции: средний discriminative score снижается на 73% относительно одношаговых базовых методов; код открыт.
Почему это важно
Реальные временные ряды часто неполны, а генеративные модели удобнее обучать на полных данных. Работа бьёт по распространённой схеме «один раз заполнить и обучить» и утверждает, что решающее значение имеет итеративность, а не изощрённость метода заполнения. Если вывод подтвердится, он касается всех конвейеров, где синтетические данные строятся на достроенных заранее рядах.
Кому это важно
Исследователям генерации временных рядов и работы с пропусками, а также командам, которым нужны синтетические временные ряды из неполных исходных данных. Для остальных это узкоспециальная работа.
Как это применить
Авторы выложили код (github.com/azencot-group/PSLR). Практически идея такая: чередовать выбор пропущенных значений из апостериорного распределения текущего генератора и его переобучение на этих достроенных данных, вместо одноразового заполнения. Сведений о стоимости обучения, вычислительных затратах и времени работы в тексте нет, поэтому оценить цену внедрения по аннотации нельзя.
Можно ли доверять
Это препринт на arXiv. Все утверждения (о структурной ущербности старого подхода, о лучшем уровне результатов), слова самих авторов; аннотация не называет ни авторов, ни институтов и не указывает, прошла ли работа рецензирование. Процентные улучшения даны как относительные, без абсолютных значений метрик, без указания, усреднены ли они по наборам данных или взяты по лучшим случаям. Названия наборов данных, базовых методов и режимов порчи данных не приведены. Проверить заявления можно по опубликованному коду.
Риски и подводные камни
Крупные проценты улучшения (59%, 71%, 73%) относительные, и без абсолютных значений метрик и описания сравниваемых методов их трудно интерпретировать. Неясно, насколько результат переносится за пределы десяти оценённых наборов данных и четырёх режимов порчи. Итеративная схема с диффузионной моделью может быть дороже одноразового заполнения, но затраты в аннотации не указаны, поэтому это лишь вопрос к полному тексту работы.