Artificial Analysis обновила Intelligence Index: разрыв открытых и закрытых моделей вырос с 3 до 12 пунктов
Artificial Analysis, организация, составляющая рейтинги нейросетей, переработала свой Intelligence Index. В версии 5 модель Kimi K3.1 Pro потеряла пять позиций: при запуске она заняла четвёртое место, а теперь стоит девятой, позади восьми закрытых моделей. По оценке Artificial Analysis, разрыв между открытыми моделями и вершиной рейтинга теперь составляет 12 пунктов, тогда как раньше было 3.
Главное изменение в методике: впервые 60% индекса опирается на закрытые (приватные) тестовые наборы. Цель, не допустить «benchmaxxing» (бенчмаксинга): практики, когда модели обучают именно на заранее известных тестовых вопросах. По оценке The Decoder, падение Kimi K3.1 Pro говорит о том, что прежняя версия индекса делала некоторые модели лучше, чем они были на самом деле. Grok 4.7 тоже потеряла 12 пунктов.
Исследователь ИИ Натан Ламберт (Nathan Lambert), как пересказывает The Decoder, считает, что бенчмаксинг объясняет лишь часть картины. Сегодня многие приросты качества при обучении достигаются в средах для обучения с подкреплением (reinforcement learning) с задачами, похожими на задачи бенчмарков. Чтобы одновременно держать темп в нескольких областях, нужна сложная инфраструктура для такого обучения, и она есть не у каждой лаборатории.
У закрытых тестовых наборов есть и обратная сторона: сторонние наблюдатели больше не могут находить ошибки в формулировках заданий. Что такие ошибки действительно встречаются, показывает тест на знания AA-Omniscience: для нового индекса Artificial Analysis пришлось пересмотреть неоднозначные и некорректные вопросы в этом бенчмарке.
Ключевые факты
- Artificial Analysis выпустила версию 5 Intelligence Index: впервые 60% индекса строится на закрытых тестовых наборах.
- Kimi K3.1 Pro упала с четвёртого места на девятое, оказавшись позади восьми закрытых моделей; Grok 4.7 потеряла 12 пунктов.
- Разрыв между открытыми моделями и вершиной рейтинга вырос с 3 до 12 пунктов.
- Закрытые наборы нужны против «benchmaxxing» (обучения на известных тестовых вопросах), но лишают сторонних наблюдателей возможности находить ошибки в заданиях.
- Натан Ламберт считает, что бенчмаксинг, лишь часть объяснения: многие приросты дают среды обучения с подкреплением, похожие на бенчмарки.
Почему это важно
Рейтинги вроде Intelligence Index служат ориентиром при сравнении нейросетей, и смена методики сразу перестраивает картину. После перехода на версию 5 разрыв между открытыми моделями и вершиной рейтинга вырос с 3 до 12 пунктов, а Kimi K3.1 Pro опустилась с четвёртого места на девятое. По оценке The Decoder, это значит, что прежний индекс завышал оценки части моделей.
Кому это важно
Тем, кто выбирает модель по публичным рейтингам, особенно между открытыми и закрытыми вариантами. Также разработчикам и лабораториям, чьи модели оцениваются по таким индексам, и исследователям, следящим за качеством бенчмарков и проблемой обучения на тестовых вопросах.
Как это применить
Сравнивая модели, учитывайте, что результаты прежней и новой версий индекса несопоставимы напрямую: методика изменилась, и места в рейтинге сдвинулись. Позиции моделей, оценённых по старой версии, лучше перепроверять по версии 5. Из источника не следует, что открытые модели стали хуже для конкретных задач: речь о положении в одном индексе.
Можно ли доверять
Материал опубликован The Decoder и пересказывает изменения в индексе Artificial Analysis. Вывод о том, что прежний индекс завышал оценки некоторых моделей, сформулирован осторожно («suggests», то есть «позволяет предположить») и принадлежит The Decoder. Позиции Ламберта переданы косвенной речью, прямых цитат нет. В статье не названы восемь закрытых моделей, опередивших Kimi K3.1 Pro, и не приведены сами баллы моделей, поэтому масштаб изменений по отдельным моделям проверить по тексту нельзя.
Риски и подводные камни
Закрытые тестовые наборы защищают от обучения на известных вопросах, но сторонние наблюдатели больше не могут находить ошибки в заданиях; на примере теста AA-Omniscience видно, что такие ошибки встречаются, и Artificial Analysis пришлось исправлять неоднозначные и некорректные вопросы. Кроме того, по мнению Ламберта, бенчмаксинг объясняет только часть картины: приросты дают и среды обучения с подкреплением, а для них нужна сложная инфраструктура, которой есть не у каждой лаборатории.