Модель LOTUS для временных рядов учится на прогнозе и обходит более крупные

Языковые модели для временных рядов обычно сопоставляют числовые сигналы с текстом с помощью меток, подписей или пар «вопрос, ответ». Авторы препринта отмечают: такая разметка формирует языковые представления, но не требует явно, чтобы они сохраняли информацию о том, как сигнал развивается во времени.

Для этого они вводят принцип forecast grounding (привязка к прогнозу): ещё до адаптации к конкретным задачам языково выровненные представления временного ряда должны оставаться пригодными для предсказания его будущего хода. Принцип воплощён в модели LOTUS. Каждый канал ряда она делит на непересекающиеся фрагменты (патчи) и переводит их в пространство эмбеддингов (векторных представлений) большой языковой модели. Затем по скрытым состояниям LLM для токенов временного ряда модель предсказывает следующий патч, что, по замыслу авторов, заставляет представление сохранять временную информацию.

Кроме того, предложено временно-спектральное представление патча: каждый «сырой» фрагмент ряда объединяется с его спектральным представлением перед отображением в пространство эмбеддингов LLM. Так модель улавливает и изменения во времени, и периодические закономерности.

Результаты, о которых заявляют авторы: на трёх базовых языковых моделях и шести downstream-наборах данных (задачах, на которых проверяют уже обученную модель) LOTUS даёт лучший средний результат при минимальном числе обучаемых параметров, точность 59,91%, что на 3,36% выше сильнейшего сопоставимого базового метода. Анализ представлений, по словам авторов, показывает, что LOTUS действительно использует числовой вход и сохраняет временную структуру в выученных патчах. Итог авторов: forecast grounding, перспективный принцип предобучения, позволяющий компактным моделям временных рядов обходить на TSRBench модели в 25-50 раз больше.

Ключевые факты

Принцип forecast grounding: языково выровненные представления временного ряда должны оставаться предсказательными для будущего хода сигнала ещё до адаптации к задачам.
LOTUS делит каждый канал на непересекающиеся патчи, переводит их в пространство эмбеддингов LLM и предсказывает следующий патч по скрытым состояниям.
Временно-спектральное представление патча объединяет сырой фрагмент ряда с его спектральным представлением, чтобы учесть и изменения, и периодичность.
Заявленный результат: лучший средний результат на трёх базовых языковых моделях и шести наборах данных, точность 59,91%, отрыв от сильнейшего сопоставимого метода, 3,36%.
На TSRBench компактные модели, по утверждению авторов, обходят модели в 25-50 раз крупнее.

Почему это важно

Идея в том, что для понимания временного ряда языковой моделью мало связать числа с подписями: представление должно сохранять информацию о динамике сигнала. Авторы показывают, что добавление задачи прогноза следующего патча на этапе предобучения может дать выигрыш даже компактным моделям. Это направление исследований, а не готовый продукт.

Кому это важно

Исследователям, которые работают с языковыми моделями для временных рядов (датчики, финансовые, медицинские и другие сигналы), и тем, кто сравнивает подходы к выравниванию числовых данных с текстом.

Как это применить

Из текста источника следует только описание метода: разбиение каналов на патчи, отображение в пространство эмбеддингов LLM, предсказание следующего патча и временно-спектральное представление. Выпуск кода, наборов данных или модели в источнике не упомянут, так что практическое применение пока сводится к воспроизведению метода по описанию.

Можно ли доверять

Это препринт на arXiv, результаты, заявления самих авторов. Сопоставимый базовый метод, три базовые языковые модели и шесть наборов данных в тексте не названы, поэтому проверить сравнение нельзя. Отрыв 3,36% указан без уточнения, в процентных пунктах он или относительный. Оценка выглядит правдоподобно, но независимого подтверждения в источнике нет.

Риски и подводные камни

Показатель 59,91% приведён как средняя точность по шести наборам данных, а не как результат на TSRBench. Число параметров LOTUS и более крупных моделей, с которыми идёт сравнение, не указано, поэтому масштаб «в 25-50 раз» трудно сопоставить с конкретными моделями. Выводы о том, что модель использует числовой вход и сохраняет временную структуру, основаны на анализе самих авторов.