Investor's Last Exam: тест ИИ-агентов на анализ акций без подглядывания в будущее

Работа посвящена тому, как проверять ИИ-агентов, которые должны формировать прогнозы и инвестиционные суждения на основе информации, доступной на момент решения, а затем сверять предсказания с тем, что произошло позже. По словам авторов, существующие тесты оценивают финансовые знания, рабочие процессы исследования или прогнозирование по отдельности, а чтобы оценить исследовательский процесс целиком, нужны строго замороженный набор информации и профессиональные критерии оценки.

Для этого представлен Investor's Last Exam (ILE), тест по анализу акций (equity research), который возглавляют опытные инвесторы и управляющие фондов со стороны покупателей активов (buy-side). У теста три составляющие. Первая, версионированная финансовая база: 3,43 млн версий документов из девяти категорий источников, дополненная структурированными рыночными данными; проверенные временные метки определяют, какие данные можно получать и использовать в расчётах. Вторая, классификация задач, выстроенная вокруг результатов работы профессиональных аналитиков. Третья, экспертная система оценки, которая связывает критерии с источниками, расчётами и допущениями через графы финансовых зависимостей.

Оценка охватывает 86 заданий и одновременно измеряет качество исследования, точность прогнозов и результат имитации инвестирования. По итогам GPT-6 Astra и Claude Opus 5.5 лидируют в общем зачёте с результатами 68,1 и 66,9 из 100 (в порядке упоминания в тексте). Однако даже Astra получает лишь 52,5 балла в компоненте Forecast & Model (прогноз и моделирование).

Авторы делают вывод: даже самые сильные модели не превращают общую исследовательскую способность в предсказательную эффективность. ILE сдвигает единицу оценки с отдельных навыков на цепочку «свидетельства, допущения, суждение». По замыслу авторов, это позволяет увидеть, где аналитическое преимущество не доходит до прогнозов и инвестиционных решений, и даёт прослеживаемую диагностическую основу для обучения и оценки финансовых агентов.

Ключевые факты

ILE, тест по анализу акций, который возглавляют опытные инвесторы и управляющие фондов (buy-side); оценка идёт по 86 заданиям.
Основа, версионированная база из 3,43 млн версий документов в девяти категориях источников с проверенными временными метками, чтобы агент не «видел будущее».
Оцениваются сразу качество исследования, точность прогнозов и результат имитации инвестирования.
GPT-6 Astra и Claude Opus 5.5 лидируют в общем зачёте (68,1 и 66,9 из 100), но у Astra в компоненте Forecast & Model всего 52,5.
Вывод авторов: общая исследовательская сила моделей не превращается в предсказательную эффективность.

Почему это важно

Финансовые решения принимаются в условиях неопределённости, а проверить прогноз можно только по тому, что случилось позже. Если тест допускает утечку информации из будущего, высокая оценка ничего не говорит о качестве агента. ILE строится на замороженном наборе данных с проверенными временными метками и оценивает не отдельные навыки, а всю цепочку от свидетельств через допущения к инвестиционному суждению. Главный результат: сильные в целом модели заметно слабее именно в прогнозах и моделировании.

Кому это важно

Разработчикам и исследователям финансовых ИИ-агентов, которым нужна диагностика, на каком звене цепочки рассуждений агент ошибается. Аналитикам и управляющим фондами, оценивающим, можно ли доверять нейросетям прогнозы. Тем, кто делает другие тесты для агентов: подход с замороженной информацией и экспертными критериями может быть образцом.

Как это применить

Из описания видно, как устроена оценка: задания построены вокруг результатов работы профессиональных аналитиков, а критерии привязаны к источникам, расчётам и допущениям. Такую схему можно взять за ориентир при проверке собственных финансовых агентов: смотреть не только на итоговый балл, но и на то, где сломалась цепочка рассуждений. Сведений о том, опубликованы ли тест и данные, в тексте нет, поэтому проверять доступность придётся самостоятельно.

Можно ли доверять

Это описание работы на странице Hugging Face, и все цифры, заявления самих авторов. Имена авторов и организации в тексте не указаны. Баллы приведены только для GPT-6 Astra и Claude Opus 5.5, причём соответствие 68,1 и 66,9 конкретным моделям определено лишь порядком упоминания. Реальных показателей доходности и точности прогнозов в тексте нет. Независимой проверки результатов не видно, так что выводы стоит считать предварительными.

Риски и подводные камни

Результат в 52,5 балла относится только к GPT-6 Astra: для Claude Opus 5.5 в этом компоненте значение не приведено, поэтому сравнивать модели по прогнозам нельзя. Оценка по 86 заданиям, ограниченная выборка, а о периоде, на котором заморожена информация, в тексте ничего не сказано. Имитация инвестирования, не реальная торговля, и вывод «модели слабы в прогнозах» не равен вердикту о пригодности агентов на практике.

«Наши результаты показывают, что даже передовые модели не способны превратить общую исследовательскую способность в предсказательную эффективность.»

— Из описания работы Investor's Last Exam на Hugging Face