EXAONE Finance возглавила рейтинг FinVerse без self-attention
Существующие модели-фундаменты для временных рядов (foundation models) в основном строят на self-attention (механизме внимания), стоимость которого растёт квадратично с длиной последовательности и числом переменных. Они обучены на данных общего назначения, предполагают, что входные данные полностью заполнены, и не отражают специфику финансовых рынков, где ряды длинные, переменных (акций, инструментов) много, а данные часто наблюдаются с пропусками.
Чтобы решить эти проблемы, авторы предлагают EXAONE Finance, модель, специально нацеленную на финансовое прогнозирование. Она заменяет self-attention двумя операциями с линейной (а не квадратичной) стоимостью по времени: одномерной каузальной свёрткой (causal 1D convolution) для смешивания информации по времени и MLP с групповым пулингом (group-aware pooling) для смешивания между переменными, то есть между разными активами и показателями. Дополнительно при обучении используется маскированная аугментация контекста: модели намеренно показывают протяжённые пропуски в данных, чтобы она устойчивее работала с неполными рядами, типичными для финансовых рынков.
EXAONE Finance предобучена на большом финансовом корпусе, который охватывает не только акции, но и валютный рынок, сырьевые товары, криптоактивы, инструменты с фиксированной доходностью и макроэкономические показатели.
На бенчмарке FinVerse, который охватывает разные классы активов, EXAONE Finance показала результат уровня state-of-the-art: заняла первое место сразу по всем трём направлениям оценки, точности точечного прогноза, качеству кросс-секционного ранжирования активов и прибыльности итогового портфеля.
Ключевые факты
- EXAONE Finance, модель-фундамент для временных рядов, спроектированная именно под финансовое прогнозирование, а не адаптированная из общей области
- Архитектура без self-attention: каузальная 1D-свёртка по времени плюс MLP с групповым пулингом по переменным, линейная, а не квадратичная стоимость
- Маскированная аугментация контекста при обучении повышает устойчивость к пропускам данных, типичным для финансовых рынков
- Предобучена на корпусе, включающем акции, валюты, сырьё, криптоактивы, инструменты с фиксированной доходностью и макропоказатели
- На бенчмарке FinVerse заняла первое место по всем трём направлениям: точность прогноза, кросс-секционное ранжирование активов, прибыльность портфеля
Почему это важно
Модели временных рядов общего назначения плохо подходят для финансов: self-attention дорожает квадратично с длиной ряда и числом переменных, сами модели предобучены без учёта финансовой специфики и не рассчитаны на пропуски в данных. EXAONE Finance, попытка закрыть именно этот разрыв: архитектура и обучающий корпус спроектированы под финансовые данные с их длинными многоканальными и не всегда полными рядами.
Кому это важно
Разработчикам систем алгоритмической торговли и количественным (quant) фондам, финтех-компаниям, которые строят инструменты прогнозирования рынков и управления рисками, а также исследователям моделей временных рядов, ищущим более дешёвые по вычислениям альтернативы self-attention для длинных многоканальных последовательностей.
Как это применить
Технический отчёт не называет ни дату релиза, ни размер модели (число параметров), ни объём обучающих данных, ни планы по открытию весов или доступа. Это описание архитектуры и результатов на бенчмарке, а не готовый к использованию продукт или публично доступный сервис.
Можно ли доверять
В аннотации отчёта не указаны ни имена авторов, ни организация-разработчик. Заявление о первом месте на FinVerse не подкреплено в тексте конкретными числовыми показателями точности и не называет модели-конкуренты, с которыми сравнивали EXAONE Finance, все оценки исходят от самих авторов работы, независимого подтверждения нет.
Риски и подводные камни
Результат, самоотчёт разработчиков без раскрытия абсолютных метрик и списка сравниваемых моделей, что затрудняет независимую проверку превосходства. Маскированная аугментация контекста снижает, но не устраняет проблему пропусков в данных, а прогнозные модели финансовых рынков в принципе рискуют переобучиться на исторические паттерны и не показать ту же устойчивость на будущих рыночных режимах.