Quant-Arena: ни одна нейросеть не обошла рынок в тесте на торговых стратегиях
Количественное (квантовое в смысле «квантитативное») исследование на финансовом рынке, это итеративный цикл: исследователь выдвигает гипотезу о рынке, реализует её как исполняемый сигнал, проверяет на исторических данных и решает, что оставить. По словам авторов, существующие бенчмарки оценивают формулы, код или отдельные торговые решения, поэтому остаётся открытым вопрос, могут ли большие языковые модели (LLM) пройти этот цикл целиком и получить стратегии, которые работают за пределами периода исследования.
Для этого представлен Quant-Arena, бенчмарк и публичный рейтинг (лидерборд) для сквозного квантового исследования на реальных данных китайского рынка акций A-share. Модель строит признаки и код оценки акций, получает обратную связь только по 2022-2023 годам и фиксирует одну стратегию, которая затем оценивается на закрытом (запечатанном) 2024 году.
Оценку проводит оценщик с моделью кассового счёта: он применяет торговые ограничения и издержки, включая рыночное влияние сделок (market impact), которое оценивается по симулированной книге заявок. Итоговый балл в основном определяется реализованной избыточной доходностью, а дополняют его качество сигнала и разнообразие признаков, использованных стратегией.
Авторы протестировали девять передовых моделей. Выше всех оценена GPT-6 Astra, однако ни одна модель не превзошла в 2024 году рынок с равными весами акций (equal-weight market). Quant-Arena открыт для заявок от любой модели или агентной обвязки (agent harness).
Ключевые факты
- Quant-Arena, бенчмарк и публичный рейтинг для сквозного квантового исследования языковыми моделями на реальных данных рынка A-share.
- Модель строит признаки и код оценки акций, получает обратную связь только по 2022-2023 годам и фиксирует одну стратегию для проверки на закрытом 2024 году.
- Оценщик учитывает торговые ограничения и издержки, включая рыночное влияние, оценённое по симулированной книге заявок.
- Балл в основном зависит от реализованной избыточной доходности, плюс качество сигнала и разнообразие признаков.
- Из девяти передовых моделей лучшей стала GPT-6 Astra, но ни одна не обошла рынок с равными весами в 2024 году.
Почему это важно
Бенчмарк проверяет не отдельные формулы или сделки, а весь исследовательский цикл: гипотеза, сигнал, тест, отбор. Закрытый 2024 год показывает, переносятся ли стратегии за пределы периода, на котором модель получала обратную связь. Результат отрезвляющий: даже лучшая из девяти моделей не обошла рынок с равными весами.
Кому это важно
Исследователям, которые оценивают агентные системы на длинных задачах, а также командам, занятым количественным анализом и автоматизацией инвестиционных исследований. Бенчмарк открыт для заявок от любой модели или агентной обвязки, так что его могут использовать и разработчики агентов.
Как это применить
Авторы приглашают подавать на Quant-Arena любую модель или агентную обвязку и сравнивать результаты в публичном рейтинге. Подход с запечатанным тестовым годом и учётом издержек можно взять как образец при проверке собственных стратегий и агентов.
Можно ли доверять
Это препринт: утверждения принадлежат авторам, независимой проверки в тексте нет. Из описания не видно конкретных значений баллов и доходности, не названы остальные восемь моделей, не сказано, насколько модели уступили рынку. Что именно представляет собой GPT-6 Astra, кроме того что она лучшая из девяти, неизвестно.
Риски и подводные камни
Тест охватывает один рынок (A-share) и один запечатанный год, поэтому вывод «никто не обошёл рынок» относится именно к 2024 году и этим условиям. Результат зависит от симуляции книги заявок и принятых допущений об издержках. Переносить его на другие рынки и периоды без дополнительных проверок нельзя.