Surge AI выпустила DAYJOB: Tax, 50 налоговых заданий для ИИ-агентов, лучший результат 10,8%

Surge AI добавила в семейство бенчмарков DAYJOB (раньше в нём были Healthcare и Finance) новый тест DAYJOB: Tax. Он проверяет ИИ-агентов на профессиональных налоговых заданиях: подготовка деклараций, рабочих бумаг, технических заключений и консультаций клиентам. В бенчмарке 50 сред (заданий) по восьми областям налоговой практики: налоги физлиц и семей, малый бизнес, партнёрства, имущество и инвестиции, наследство, дарение и трасты, международное налогообложение, корпоративные сделки, налоговые проверки и споры.

Авторы начинают с примера. Анна собирается продать квартиру (condo), выехала из неё в августе 2024 года и хочет понять, что выгоднее для налогов: закрыть сделку в октябре 2026 или в январе 2027. Агент верно решил, что при обеих датах выполняется требование о проживании для льготы на исключаемую из налога прибыль до $250 000. Но он упустил важный срок: по обычным правилам нужно прожить в объекте не менее двух из пяти лет до продажи, а Анна перестанет соответствовать этому условию примерно к концу августа 2027 года. Если продажа затянется дальше, льгота может быть потеряна. За пять попыток агент Astra ни разу не назвал этот срок, а Opus назвал его во всех пяти. Вывод авторов: налоговый консультант должен замечать существенные проблемы, даже если клиент не знает, что о них спросить.

Второй пример показывает сбой Opus. Разводящаяся пара спросила, как поделить Roth IRA и 401(k). Opus 5.5 ответил, что они не состоят в законном браке, и посоветовал держать счета раздельно и выровнять балансы денежной выплатой, начав ответ фразой «Вы не состоите в законном браке, поэтому ни один счёт нельзя разделить без налогов и штрафов». Однако документы пары вызывали сомнения: сейчас они живут во Флориде, где новые браки по общему праву, как правило, не признаются, но раньше жили вместе в Техасе (там при определённых условиях признаются неформальные браки) и проводили церемонию в Колорадо, а действительный брак, заключённый в другом месте, может оставаться действительным и во Флориде. Это меняет налоговые последствия раздела. Во всех пяти попытках Opus строил рекомендации на допущении, что пара не в браке, даже когда признавал неопределённость. Astra в четырёх попытках из пяти понял, что сначала нужно уточнить семейное положение («Сначала нужно подтвердить ваш юридический семейный статус»).

Результаты. Лидерборд по метрике pass@1 при пороге 95% критериев (попытка засчитывается, если выполнено не менее 95% критериев задания, которые оценивают расчёты, подтверждающие данные, существенные проблемы и готовый результат): Claude Sonnet 5.5, 10,8%, Claude Fable 5.1, 9,6%, Claude Opus 5.5, 9,2%. Сравнение качества со средней стоимостью одной попытки показало, что Claude Sonnet 5.5 и Opus 5.5 находятся на высокопроизводительном краю измеренной границы Парето. Полный лидерборд со всеми оценёнными моделями вынесен на страницу бенчмарка.

Состав заданий. В бенчмарке 1 789 файлов рабочих пространств: медиана 30 на задание, максимум 123. Из них 1 487 PDF, 117 книг Excel, 38 документов Word, а также письма, изображения, CSV, JSON и текстовые файлы. Среди материалов поданные и черновые декларации, формы K-1 и W-2, уведомления IRS, главные книги, платёжные ведомости, договоры и переписка. Есть и неформальные свидетельства: например, фото рукописной квитанции о закупке товара для перепродажи, которую надо сверить с расходами и учесть в запасах и себестоимости; компания по обслуживанию силосов, которая, по мнению клиента, работает только в Алабаме, но в журнале диспетчера видны бригады в пяти штатах; домохозяйство с польскими данными о работе и имуществе, которые нужно сверить с выгрузками криптобирж, историей кошельков и данными о покупках.

Как создавались задания. Налоговые эксперты превращают реальные рабочие ситуации в задания, готовят подтверждающие записи, ожидаемые результаты и критерии оценки; каждое задание проходит трёхуровневую экспертную проверку на корректность, полноту и разрешимость. Среди экспертов, налоговый юрист с более чем 10-летним опытом в PwC, Deloitte и Exxon, директор по налогам Baker Tilly с опытом в PwC, Moss Adams и Windes, а также специалист с опытом в Deloitte и EY по недвижимости, налогам физлиц и трастам.

Место среди других тестов. По словам авторов, большинство налоговых бенчмарков начинается с чётко поставленной задачи: TaxBench (114 налоговых вопросов с рубриками оценки) проверяет ответы на сложные вопросы, TaxCalcBench, точность расчёта декларации, TaxLab, умение опросить условного налогоплательщика и подать федеральную декларацию физлица. DAYJOB, напротив, проверяет, может ли агент сам выяснить, в чём проблема: заметить упущенное клиентом, сопоставить противоречивые данные, решить, что нужно делать, и довести работу до готового результата. Итог авторов: даже когда агенты справляются с отдельными шагами, профессиональное суждение и надёжное выполнение реальных налоговых процессов пока им недоступны, «агенты ещё не прошли аудит». Доступ к полному бенчмарку, по запросу на benchmarks@surgehq.ai.

Ключевые факты

DAYJOB: Tax, новый бенчмарк Surge AI из 50 сред по восьми областям налоговой практики; ранее в семействе DAYJOB вышли Healthcare и Finance.
Лидерборд (pass@1, порог 95% критериев): Claude Sonnet 5.5, 10,8%, Claude Fable 5.1, 9,6%, Claude Opus 5.5, 9,2%.
В заданиях 1 789 файлов (медиана 30 на задание, максимум 123): 1 487 PDF, 117 Excel, 38 Word, письма, изображения и другие форматы.
Ключевая проверка, профессиональное суждение: в примере с продажей квартиры Opus назвал срок утраты льготы (конец августа 2027) в пяти попытках из пяти, Astra, ни разу; в примере с разделом пенсионных счетов Opus во всех пяти попытках исходил из того, что пара не в браке, а Astra в четырёх из пяти запросил проверку семейного статуса.
Каждое задание создают и проверяют налоговые эксперты (трёхуровневая проверка на корректность, полноту и разрешимость); полный доступ к бенчмарку, по запросу.

Почему это важно

Большинство налоговых тестов дают агенту заранее сформулированный вопрос или форму для заполнения. DAYJOB: Tax проверяет другое: умеет ли агент понять, в чём проблема, когда клиент её не назвал. Лучший результат на лидерборде, 10,8% при пороге 95% критериев, то есть по этой метрике ни одна из названных моделей не близка к надёжной самостоятельной работе налогового специалиста. Примеры авторов показывают типичный сбой: формально верный ответ на заданный вопрос и пропущенное существенное обстоятельство (срок утраты льготы, неочевидный семейный статус).

Кому это важно

Разработчикам и командам, которые строят ИИ-агентов для налогов, бухгалтерии и финансового консалтинга; налоговым и бухгалтерским фирмам, оценивающим автоматизацию; исследователям, которые сравнивают бенчмарки профессиональных задач. Для них полезен сам формат: рабочие папки с десятками неструктурированных документов (медиана 30 файлов на задание, максимум 123) вместо одного чёткого вопроса.

Как это применить

Бенчмарк пока можно использовать как ориентир при выборе и проверке агентов: из текста видно, какие ошибки стоит искать на своих данных, упущенные сроки, непроверенные допущения о фактах клиента, недостающие подтверждающие документы. Доступ к полному набору заданий, по запросу на benchmarks@surgehq.ai; о публичной загрузке и условиях в тексте не сказано. Полный список оценённых моделей, на странице бенчмарка DAYJOB: Tax.

Можно ли доверять

Это материал самого разработчика бенчмарка, а не независимая проверка. Из текста не видно, сколько моделей оценено и сколько попыток сделано на задание (кроме пяти попыток в двух примерах), нет доверительных интервалов, поэтому разрыв между 10,8%, 9,6% и 9,2% трудно считать значимым. Не приведены оценки специалистов-людей для сравнения и не сказано, кто и как оценивает ответы. Названия моделей даны как в источнике; кто такой Astra, текст не раскрывает, и к строкам лидерборда его относить нельзя. Два примера выбраны авторами для иллюстрации, их репрезентативность не доказана.

Риски и подводные камни

Очень строгий порог (95% критериев) делает абсолютные значения низкими, и они плохо говорят о том, насколько полезны агенты в роли помощника с проверкой человеком. Метрика pass@1 не показывает, как модели ведут себя при нескольких попытках. Примеры показывают и другой риск: один и тот же агент может заметить упущенное обстоятельство в одной задаче и пропустить в другой. Opus нашёл срок в примере с квартирой, но в примере с разделом счетов не проверил допущение о браке, так что сильная сторона модели не гарантирует надёжности во всех задачах. Для реальных налоговых решений выводы агента без проверки специалистом остаются рискованными.

«Агенты ещё не прошли аудит.»

— авторы поста, Surge AI