EPSBench: ИИ-агенты не обошли аналитиков в прогнозе прибыли на акцию
Исследователи представили EPSBench, бенчмарк для проверки того, как ИИ-агент связывает финансовые данные со статьями отчёта о прибылях и убытках, из которых складывается отчётная прибыль компании. Бенчмарк охватывает 149 «компания-кварталов» (firm-quarters) по 86 американским компаниям.
Задача устроена так. Агент читает фиксированный набор материалов, отчётные документы (filings), стенограммы звонков с инвесторами по итогам квартала (earnings-call transcripts) и новости, и оценивает специфичные для компании драйверы статей отчёта о прибылях и убытках, подкрепляя оценки ссылками на источники. Затем единый бухгалтерский калькулятор переводит эти оценки в разводнённую прибыль на акцию (diluted EPS) по GAAP. Благодаря этому предположения разных моделей можно сравнивать на общей основе.
Оценили шесть моделей в едином тестовом окружении. Точечную ошибку прогноза сравнивали с консенсусом аналитиков на ту же дату, а прогнозные интервалы проверяли на соответствие заявленному уровню покрытия.
Результаты. Три модели статистически не отличаются от консенсуса по парной точечной ошибке, у трёх остальных ошибка выше. Ни об одной модели не сказано, что она превзошла консенсус: лучший результат, отсутствие заметной разницы. Номинальные 80%-е интервалы у всех шести моделей содержали фактическую прибыль на акцию лишь в 37-70% запусков, в которых интервал был возвращён. Большая часть промахов приходится выше верхней границы, потому что прогнозы получаются заниженными. Разбор записей драйверов показывает, что основная часть разрыва в ошибке между моделями связана с оценками операционной прибыли.
Ключевые факты
- EPSBench: 149 компания-кварталов по 86 американским компаниям; агенты читают отчётные документы, стенограммы звонков по итогам квартала и новости.
- Оценки драйверов статей отчёта о прибылях и убытках единый бухгалтерский калькулятор превращает в разводнённую прибыль на акцию по GAAP.
- Из шести моделей три не отличаются от консенсуса аналитиков по точечной ошибке, у трёх ошибка выше.
- Номинальные 80%-е интервалы содержат фактическую прибыль на акцию лишь в 37-70% запусков, возвращающих интервал; промахи в основном выше верхней границы, прогнозы занижены.
- Основная часть разрыва между моделями по ошибке прослеживается до оценок операционной прибыли.
Почему это важно
Прогноз квартальной прибыли, понятная и проверяемая задача для ИИ-агентов: ответ потом публикуется в отчётности. EPSBench разбивает её на этапы: агент оценивает драйверы статей отчёта, а прибыль на акцию считает единый калькулятор. Так видно, на каком шаге модель ошибается. Главный итог: ни одна модель не показала заметного превосходства над консенсусом аналитиков, а заявленные 80%-е интервалы покрывают факт в 37-70% случаев, то есть уверенность моделей завышена.
Кому это важно
Исследователям, которые строят и оценивают ИИ-агентов для финансового анализа; командам, разрабатывающим инструменты прогнозирования для инвесторов и аналитиков; всем, кто оценивает, насколько можно полагаться на интервалы неопределённости, выдаваемые языковыми моделями.
Как это применить
Сам подход можно взять как схему оценки: разделять оценку драйверов и итоговый расчёт, требовать ссылки на источники, сравнивать с консенсусом на ту же дату и отдельно проверять покрытие интервалов. Практический вывод для пользователей: не принимать интервалы модели за надёжную меру неопределённости без проверки их покрытия на истории.
Можно ли доверять
Это краткое описание статьи (аннотация) на Hugging Face; выводы принадлежат самой статье и не проходили независимой проверки. В тексте не названы шесть оценённых моделей и то, какие именно три сравнялись с консенсусом; нет числовых значений точечной ошибки; не указан период, который охватывают компания-кварталы, и не сказано, сколько запусков не вернули интервал. Выборка скромная: 149 компания-кварталов.
Риски и подводные камни
Статистически незаметная разница с консенсусом не означает превосходства, а выборка из 149 компания-кварталов ограничивает уверенность в выводах. Диапазон 37-70% посчитан только по запускам, которые вернули интервал. Систематическое занижение прогнозов означает, что большинство промахов идёт в одну сторону, и это нужно учитывать при практическом использовании. Результаты относятся к американским компаниям и к фиксированному набору материалов.