TimeOmni-o1 связывает LLM и модель временных рядов для прогнозов

Временные ряды из реальных систем часто сопровождаются текстом, например отчётом о событии, которое на них влияет. Два типовых задания для таких рядов: понимание (скажем, ответы на вопросы о ряде) и прогноз будущих значений. Оба требуют рассуждать над рядом и текстом вместе. Кроме того, понимание выдаёт текст, а прогноз выдаёт ряд, поэтому для обеих задач нужна модель, которая и читает, и генерирует обе модальности.

Авторы препринта на arXiv описывают недостатки существующих подходов. Большие языковые модели (LLM) читают временные ряды как цифровые токены и плохо справляются с длинными рядами. Базовые модели временных рядов (TSFM) хорошо прогнозируют благодаря предобучению на больших объёмах данных, но, как правило, не читают и не генерируют текст. «Языковые модели для временных рядов» добавляют LLM модальность ряда, но прогнозируют на стороне LLM, так что предобученное умение TSFM прогнозировать остаётся неиспользованным.

Предложенная модель TimeOmni-o1 двунаправленно связывает предобученную TSFM и LLM. В одном направлении TSFM кодирует ряд в сжатом виде для LLM, а та рассуждает над ним вместе с текстом. В другом направлении рассуждения LLM возвращаются в TSFM, и именно она выдаёт прогноз, обусловленный этими рассуждениями. Таким образом, одна архитектура читает и генерирует и ряды, и текст, рассуждает текстом и использует предобученные прогностические способности TSFM.

Для обучения авторы собрали MMTR, датасет мультимодального рассуждения над временными рядами с размеченными цепочками рассуждений. Он охватывает обе задачи, 12 предметных областей и более 500 тысяч образцов. По утверждению авторов, на MMTR TimeOmni-o1 превосходит существующие модели и по пониманию, и по прогнозу в большинстве областей, а также превосходит по отдельности и LLM, и TSFM, из которых состоит. Выигрыш сохраняется на трёх открытых бенчмарках, где модель опережает специализированные модели временных рядов.

Ключевые факты

  • TimeOmni-o1 двунаправленно связывает предобученную базовую модель временных рядов (TSFM) и LLM: TSFM сжимает ряд для LLM, а рассуждения LLM возвращаются в TSFM, которая строит прогноз.
  • Одна архитектура читает и генерирует и ряды, и текст, закрывая две задачи: понимание (ответы на вопросы о ряде) и прогноз.
  • Для обучения собран датасет MMTR с размеченными цепочками рассуждений: 12 областей, более 500 тысяч образцов.
  • По заявлению авторов, на MMTR модель обходит существующие модели в большинстве областей, а также LLM и TSFM по отдельности.
  • Выигрыш, как сообщают авторы, переносится на три открытых бенчмарка, где модель опережает специализированные модели временных рядов.

Почему это важно

Реальные временные ряды (нагрузка, продажи, показатели систем) часто идут вместе с текстовыми пояснениями, а существующие подходы закрывают это плохо: LLM слабы на длинных рядах, TSFM не работают с текстом, а гибриды прогнозируют на стороне LLM и не используют предобученный прогноз TSFM. TimeOmni-o1 пытается объединить сильные стороны обеих моделей в одной архитектуре.

Кому это важно

Исследователям временных рядов и мультимодальных моделей, а также командам, которые прогнозируют показатели с учётом текстовых отчётов о событиях. Тем, кто следит за тем, как соединяют специализированные базовые модели с языковыми.

Как это применить

Напрямую применить пока нечего: в тексте аннотации не упомянуты ни код, ни веса, ни выпуск датасета MMTR. Идея архитектуры, отдать чтение ряда сжатому кодировщику TSFM, рассуждения поручить LLM, а прогноз вернуть в TSFM, может служить ориентиром для собственных экспериментов.

Можно ли доверять

Это препринт на arXiv, все утверждения о превосходстве принадлежат самим авторам и основаны на их собственном датасете и трёх открытых бенчмарках. В аннотации нет числовых результатов, только качественное «превосходит»; сами бенчмарки, области и модели для сравнения не названы. Независимой проверки в тексте нет.

Риски и подводные камни

Без цифр нельзя оценить величину выигрыша. Превосходство заявлено лишь «в большинстве областей» MMTR, а какие области оказались исключением, не указано. Обучающий датасет создан теми же авторами, поэтому результаты на нём стоит читать с осторожностью. Размер модели и затраты на обучение не раскрыты, как и то, какие именно LLM и TSFM использованы.