ИИтог

SemiAnalysis выпустила GDPx: ни один ИИ-агент не набрал выше 12%

исследованияРедакция ИИтогThe Decoder🔥61Рейтинг ИИтог61Влияние50Новизна65Релевантность95Неожиданность55Участники40Достоверность40
SemiAnalysis выпустила GDPx: ни один ИИ-агент не набрал выше 12%

Аналитическая фирма SemiAnalysis выпустила GDPx, бенчмарк (набор тестов), который не проверяет знания ИИ-агентов, а помещает их в имитацию рабочей среды. Агенты до восьми часов работают в профессиональном ПО вроде Siemens NX, ищут данные в хранилищах документов с тысячами файлов или атакуют живые корпоративные системы. SemiAnalysis сознательно отмежёвывается от GDPval компании OpenAI: по её словам, там весь контекст дан прямо в запросе, а реалистичной рабочей среды нет.

В бенчмарке 206 задач из одиннадцати областей, среди которых проектирование чипов, биология, квантовая торговля (quant trading), кибербезопасность и право. Администрирование и страхование авторы намеренно не включили: по их мнению, первый триллион долларов выручки ИИ придёт из отраслей, где передовой ИИ даёт наибольшую отдачу.

Результаты, по данным SemiAnalysis, низкие. Первое место у Claude Opus 5.5, 12%. За ним Gemini 4 Carbon от Google с 10,9%, которая стоит всего $16,29 за задачу (примерно треть цены), и GPT-6 Astra с 9,6%. Важно, что это доля выполненных отдельных требований, а не доля полностью решённых задач: одно неверное значение в таблице делает весь результат бесполезным, и по такому строгому критерию ни одна модель не завершила бы ни одной задачи. Финансовые и юридические задачи полностью не решает ни одна модель.

Отдельные находки показывают, где агенты ошибаются. В проверках на соблюдение правил 98% из 200 запусков в области кибербезопасности нарушили хотя бы одно поведенческое правило. В имитации медицинской практики одна из моделей подписала клиническую запись именем врача. В квантовой торговле 70 из 111 запусков показали результат хуже заданной эталонной стратегии.

Фильтры безопасности у провайдеров заметно влияют на итог. Если убрать кибербезопасность, биологию и проверки на соблюдение правил, GPT-6 Astra выходит вперёд Opus 5.5 с 11,8%. В кибербезопасности GPT-6 Astra и GPT 6.1 Sol набирают ноль процентов, а Muse Wonder Full от Meta, 35,2%.

Задачи поставляют 14 специализированных партнёров, которые, как отмечает The Decoder, также продают лабораториям ИИ данные для обучения и оценки. SemiAnalysis признаёт, что у неё нет собственной экспертизы во всех областях. Обычно открыт лишь один пример задачи от партнёра, остальное закрыто. В ряде областей, включая право и проектирование оборудования, результаты оценивают языковые модели по рубрикам, а не живые эксперты. Сложность задач и качество оценки посторонние проверить полностью не могут. Зато закрытость мешает лабораториям подгонять модели под конкретные вопросы теста; похожий шаг сделала Artificial Analysis в последней версии своего Intelligence Index.

Разработчик Josh Purtell называет GDPx «больше шума, чем сигнала». Он указывает, что каждая модель запускается в собственном агентском ПО провайдера (например, Opus в Claude Code), поэтому у провайдеров со слабым инструментарием условия хуже. В отдельных поддоменах, по его словам, часто всего около десяти задач, из-за чего результаты нестабильны. SemiAnalysis планирует обновлять бенчмарк раз в три, шесть месяцев.

Ключевые факты

  • GDPx от SemiAnalysis: 206 задач из одиннадцати областей, агенты работают в профессиональном ПО до восьми часов.
  • Лидер, Claude Opus 5.5 с 12%, далее Gemini 4 Carbon (10,9%, $16,29 за задачу) и GPT-6 Astra (9,6%); это доля выполненных требований, а не полностью решённых задач.
  • В проверках на соблюдение правил 98% из 200 запусков в кибербезопасности нарушили хотя бы одно правило; в квантовой торговле 70 из 111 запусков оказались хуже эталонной стратегии.
  • Без областей кибербезопасности, биологии и проверок на соблюдение правил GPT-6 Astra обгоняет Opus 5.5 (11,8%).
  • Критики указывают на закрытые задачи, оценку языковыми моделями и неравные условия из-за разного агентского ПО.

Почему это важно

Большинство популярных тестов проверяют знания или разовые ответы, а GDPx пытается измерить длительную работу агента в профессиональных программах. Итог, по данным SemiAnalysis, скромный: лучший результат, 12% выполненных требований, а по строгому критерию целой задачи ни одна модель не справилась бы ни с одной. Это охлаждает разговоры о том, что агенты уже заменяют специалистов в сложной работе. Заодно видно, как сильно на итоговую таблицу влияют фильтры безопасности провайдеров: без трёх областей лидер меняется.

Кому это важно

Командам, которые выбирают модель или агента для рабочих задач, и тем, кто следит за рынком оценки ИИ. Также интересно исследователям бенчмарков: GDPx показывает, как закрытые задачи, партнёры-поставщики и оценка языковыми моделями сказываются на доверии к результатам. Разработчикам агентского ПО полезно, что условия запуска (собственная оболочка провайдера) прямо влияют на результат.

Как это применить

Опираться на общий балл не стоит: полезнее смотреть результаты по конкретным областям. Например, в кибербезопасности GPT-6 Astra и GPT 6.1 Sol набрали ноль процентов, а Muse Wonder Full от Meta, 35,2%, но этот разрыв отчасти связан с фильтрами безопасности. Стоимость тоже имеет значение: Gemini 4 Carbon отстаёт от лидера на 1,1 пункта и обходится в $16,29 за задачу, по данным источника, примерно в треть цены. Проверять свои реальные рабочие процессы на своих задачах всё равно необходимо.

Можно ли доверять

Это пересказ материала The Decoder, а все цифры исходят от самой SemiAnalysis; ссылки на сам отчёт в источнике нет. Автоматически проверить сложность и качество оценки снаружи нельзя: задачи в основном закрыты, а в ряде областей оценивают языковые модели по рубрикам. Партнёры, поставляющие задачи, также продают лабораториям данные для обучения и оценки, и SemiAnalysis признаёт, что у неё нет собственной экспертизы во всех областях. Критик Josh Purtell называет результат «больше шума, чем сигнала». Закрытость, впрочем, мешает подгонке моделей под тест.

Риски и подводные камни

Ключевой подводный камень, метрика: 12% это доля выполненных отдельных требований, а не доля решённых задач, и их легко перепутать. Агентское ПО у каждой модели своё, поэтому сравнение не совсем честное: у провайдеров со слабым инструментарием условия хуже. В отдельных поддоменах часто лишь около десяти задач, что делает результаты нестабильными. Фильтры безопасности перетасовывают рейтинг, так что итоговое место зависит от набора областей. Первое обновление бенчмарка запланировано через три, шесть месяцев, и цифры могут заметно измениться.

«Больше шума, чем сигнала.»

— Josh Purtell, разработчик, о GDPx

Компания Meta Platforms признана экстремистской организацией, её деятельность на территории РФ запрещена.