Mercor оценила: около 90% рабочих часов в США почти не покрыты бенчмарками ИИ

Компания Mercor опубликовала «Карту бенчмарков» (Benchmark Map), первый шаг к постоянно обновляемому ресурсу, который показывает, насколько тесты для ИИ охватывают экономически ценную работу. Карта сопоставляет 29 отобранных бенчмарков с 923 профессиями из классификатора ONET (его ведёт Министерство труда США), сгруппированными в 22 семейства профессий. Для каждой профессии ONET даёт список задач, всего их 18 797. Профессии на карте закрашены по доле задач, которые представлены в начальном списке бенчмарков; один запрос (промпт) из бенчмарка может относиться сразу к нескольким задачам O*NET.

Главный вывод: около 90% рабочих часов американцев тратится на задачи, которые слабо покрыты существующими бенчмарками или не покрыты совсем. Поэтому, пишут авторы, очень трудно понять, насколько хороши ИИ-модели в той работе, которую американцы действительно делают. Лишь у 208 из 923 профессий есть хотя бы одна задача, покрытая не менее чем пятью запросами из бенчмарков, а в 6 из 22 семейств таких профессий нет вовсе.

Как считали. Вслед за работой Wang и соавторов LLM-судья размечает каждый запрос из бенчмарков теми задачами O*NET, которым он, по его мнению, соответствует; задача считается «покрытой», если ей сопоставлено не менее 5 запросов из 29 бенчмарков. Разметку проверили экспертной ручной разметкой на бенчмарках APEX самой Mercor, входящих в этот список. Чтобы перейти от задач к часам, покрытие объединили с оценками доли рабочего времени на каждую задачу, полученными с помощью LLM в работе Hatgis-Kessell и соавторов.

Закономерности покрытия. Оно неслучайно: по словам авторов, ИИ-сообщество в первую очередь занимается крупнейшими рынками труда. Бенчмарки сильнее покрывают задачи, наиболее подверженные автоматизации ИИ (по оценке Eloundou и соавторов): задачи с рейтингом «подвержены» представлены в бенчмарках примерно в 6 раз чаще, чем «не подверженные». Поэтому бенчмарки изобилуют задачами из разработки ПО и финансового анализа, но скудны на задачи водителей грузовиков и операторов газоперерабатывающих установок. Но и с поправкой на подверженность ИИ задачи профессий с большим фондом оплаты труда заметно перепредставлены. Ещё один предиктор, важность задачи по шкале O*NET от 1 до 5: самые важные задачи попадают в бенчмарки примерно в 6-10 раз чаще самых неважных (с поправкой на профессию и оценку подверженности ИИ). Пример неравномерности: бенчмарки густо покрывают задачи юристов, но почти не затрагивают задачи юридических секретарей и клерков суда, которые так же подвержены ИИ; «длинный хвост» небольших профессий умственного труда со средним доходом, по-видимому, недопокрыт. При этом авторы считают такое распределение разумным при ограниченных ресурсах, но предупреждают: без заметного роста числа и разнообразия бенчмарков образуются крупные слепые зоны.

Ограничения, которые называют сами авторы. Результаты предварительные: список из 29 бенчмарков неполон и не вполне репрезентативен, а любой неполный список занижает оценку покрытия, причём границы этого смещения трудно определить. Лимит числа бенчмарков на семейство профессий (ради ширины охвата) занижает покрытие в самых «забенчмаренных» семействах, например в разработке ПО. Отбор только ненасыщенных бенчмарков может занизить покрытие лёгких для LLM задач, а включение насыщенных, завысить; часть критериев отбора (например, «экономический реализм») субъективна.

Вторая часть, попытка считать оценки моделей по профессиям. Простое усреднение результатов по всем запросам профессии даёт избыточный вес часто тестируемым задачам, поэтому Mercor попробовала взвешивание по ONET, где каждая задача весит одинаково. На бенчмарках APEX для четырёх профессий, инвестиционный банкинг, право, бухгалтерия, разработка ПО, взвешенные и простые оценки оказались в целом очень близки: взвешивание почти ничего не меняет. Но менее трети задач ONET по этим профессиям имеют достаточное покрытие APEX, чтобы войти во взвешенные оценки. Авторы надеются, что на гораздо большем наборе бенчмарков метод даст качественные оценки по профессиям, и работают над этим.

Остающиеся препятствия: на каждую задачу приходится мало тестовых примеров, так что один-два плохих примера могут сильно исказить оценку; бенчмарки неоднородны по насыщенности и качеству, а явного взвешивания по качеству пока нет; ИИ пока в основном используется людьми, а не автоматизирует работу целиком, и измерить, насколько модель повышает производительность человека, масштабируемым методом пока не удаётся; наконец, бенчмарки хорошо подходят для умственного труда на цифровых устройствах, но, по оценке Dingel и Neiman, лишь 37% рабочих мест в США можно выполнять целиком из дома, то есть около 63% включают физическую составляющую. Авторы ожидают, что с развитием робототехники понадобятся бенчмарки физических задач.

Ключевые факты

• Mercor сопоставила 29 бенчмарков с 923 профессиями O*NET (22 семейства, 18 797 задач) и оценила, что около 90% рабочих часов в США приходится на задачи со слабым покрытием бенчмарками или без него.
• Только у 208 из 923 профессий есть задача, покрытая не менее чем 5 запросами из бенчмарков; в 6 из 22 семейств профессий таких профессий нет.
• Бенчмарки смещены к задачам, наиболее подверженным ИИ (примерно в 6 раз чаще), к профессиям с большим фондом оплаты труда и к самым важным задачам (примерно в 6-10 раз чаще): много разработки ПО и финансового анализа, мало грузоперевозок и работы на газовых установках.
• Авторы подчёркивают, что результаты предварительные: список из 29 бенчмарков неполон и занижает оценку покрытия, границы смещения определить трудно.
• Пробное взвешивание по O*NET на бенчмарках APEX для четырёх профессий почти не изменило оценки, но менее трети релевантных задач имели достаточное покрытие.

Почему это важно

Оценки моделей по бенчмаркам всё чаще используют, чтобы судить о том, на что ИИ способен в реальной работе. Исследование Mercor показывает, что по оценке авторов подавляющая часть американских рабочих часов, около 90%, приходится на задачи, где бенчмарки почти ничего не говорят о качестве моделей. Покрытие при этом неслучайно: оно сосредоточено на задачах, сильнее всего подверженных ИИ, и на профессиях с большим фондом оплаты труда, а «длинный хвост» небольших профессий умственного труда остаётся в тени.

Кому это важно

Авторы называют три аудитории, для которых оценка возможностей моделей по профессиям существенна: компании, выбирающие модель под свои нужды; регуляторы, прогнозирующие экономические последствия ИИ; и люди, думающие о карьере. Карта также полезна тем, кто создаёт бенчмарки: она показывает слепые зоны, а авторы приглашают заинтересованных к сотрудничеству.

Как это применить

Читая заявления вида «модель справляется с работой юриста или программиста», стоит помнить, что именно эти профессии покрыты бенчмарками гуще всего, а для большинства других задач сопоставимых тестов нет. Тем, кто выбирает модель под конкретную профессию, полезно проверить, какие задачи из реальной работы вообще представлены в известных бенчмарках. Интерактивная карта и список из 29 бенчмарков доступны на странице Mercor во вкладках карты и индекса бенчмарков.

Можно ли доверять

Это публикация самой Mercor, компании, чьи бенчмарки APEX входят в список, а значит, сторонней независимой проверки здесь нет. Авторы сами называют результаты предварительными: итоговая цифра зависит от выбранных 29 бенчмарков, от разметки LLM-судьёй и от LLM-оценок доли рабочего времени на задачи; доверительный интервал в тексте не приводится. Субъективность в отборе бенчмарков они признают открыто. Методика опирается на опубликованные работы (Wang и соавторы, Hatgis-Kessell и соавторы, Eloundou и соавторы), а разметку проверяли ручной экспертной разметкой на APEX.

Риски и подводные камни

Цифра в 90%, не утверждение, что ИИ плохо справляется с непокрытыми задачами: текст говорит лишь, что трудно понять, насколько хороши модели в этих задачах. Неполный список бенчмарков занижает покрытие, а ограничение числа бенчмарков на семейство профессий занижает его в самых протестированных областях, например в разработке ПО. Отбор только ненасыщенных бенчмарков может занизить покрытие лёгких задач. В тесте взвешивания по O*NET менее трети задач четырёх профессий имели достаточное покрытие APEX, так что вывод «взвешивание почти ничего не меняет» относится только к этому узкому случаю. Кроме того, бенчмарки плохо подходят для работы с физической составляющей, которая, по оценке Dingel и Neiman, есть примерно у 63% рабочих мест в США.

«Наши выводы позволяют предположить, что 90% рабочих часов американцев приходится на задачи, которые почти или совсем не покрыты существующими бенчмарками. Из-за этого очень трудно понять, насколько хороши ИИ-модели в той работе, которую американцы действительно делают.»

— Mercor, Benchmark Map