Hightouch: связка Jev и Opus даёт точность топ-моделей в 4+ раза дешевле

Hightouch: связка Jev и Opus даёт точность топ-моделей в 4+ раза дешевле

Авторы блога Hightouch взялись за задачу, с которой регулярно сталкиваются: как оценить качество разрешения идентичностей (identity resolution, IDR), процесса, который сводит разрозненные записи (покупки, адреса, почты) к конкретным реальным людям. Главная проблема здесь, ложное слияние (over-merging), когда один профиль ошибочно объединяет записи нескольких людей. На реальных данных «ключа с ответами» нет, поэтому команды месяцами выясняют, работает ли их IDR. Эвристики (например, число почт на профиль) помогают лишь отчасти; в итоге профили приходится просматривать вручную. Человек проверяет около 50 профилей в час, а чтобы оценить редкую долю ложных слияний с ошибкой меньше ±1%, нужно больше 1000 проверок.

Идея авторов: если нейросеть сможет судить о профилях с точностью человека, проверку можно запускать параллельно, выборка из 100 000 профилей оценивалась бы за секунды. Особый интерес для них представляют Jev и GPT-6 Luna, «решающие модели» (decision models), новый класс языковых моделей, которые возвращают оценку уверенности от 0 до 1 в том, что некое условие выполнено. Они заметно быстрее и дешевле обычных топ-моделей.

Бенчмарк построили на pseudopeople, инструменте Института показателей и оценки здоровья (IHME) Вашингтонского университета, который симулирует вымышленный американский город и генерирует записи о жителях из нескольких источников (перепись, опросы домохозяйств, программа WIC, соцстрахование, налоговые формы W-2 и 1040; годы с 2020 по 2040) с реалистичными ошибками. Из них собрали 1000 профилей: половина, один человек с «шумными» записями, половина, ложные слияния. Промпт начали с простого, затем добавили примеры ошибок (опечатки, перепутанные символы, прозвища, перепутанные месяц и день, пустые поля) и описание источников данных. Больше всего всем моделям дали примеры ошибок; описание контекста добавило топ-моделям не более пункта и не помогло решающим моделям, авторы предполагают, что те «не рассуждают по-настоящему».

Из коробки обе решающие модели показали 88,8-97,3% точности. Они до 90 раз дешевле и более чем в 10 раз быстрее топ-моделей: $0,05-0,10 за 1000 профилей и ответ примерно за 0,15 с, но на более сложных тестах отстают от Opus примерно на 6 процентных пунктов. Порог уверенности сначала был произвольным 50%; подобрав его по максимуму точности, авторы остановились на 60% для Jev и 70% для Luna. Для Jev порог сильно влияет на результат, для Luna, почти нет.

На простом тесте Luna лучше Jev, но когда авторы усложнили задачу (опечатки в важных полях, близнецы, отец и сын с одним именем, тёзки), между топ-моделями и Luna появился явный разрыв, а Luna сравнялась с Jev. Разбор ошибок показал разницу в калибровке: большинство ошибок Jev приходится на низкую уверенность (около 50%), как и должно быть у хорошо откалиброванной модели, тогда как Luna ошибается с высокой уверенностью, в простом тесте она переуверена в диапазоне 90-100%, а в сложном «феноменально» уверена, что нашла ложное слияние.

Отсюда гибридная схема: дешёвая модель судит первой, а неуверенные случаи уходят на второе мнение дорогой модели (Opus). Для Jev это сработало: он обошёл Luna по точности и почти догнал Opus в одиночку, хотя такая схема дороже гибрида с Luna при схожем результате. На сложных данных гибрид Jev сам отправляет в Opus больше случаев, тратит больше, но всё равно «заметно дешевле Opus в одиночку»; гибрид с Luna из-за переуверенности даёт посредственный результат. Вывод авторов: калибровка важна, а гибридный подход полезен и, как они подозревают, не только в этой области. Если важнее экономия или случаи заведомо простые, можно выбрать гибрид с Luna; порог можно сдвинуть, чтобы отправлять в Opus меньше случаев ценой небольшой потери точности. В будущих постах обещают разобрать недослияние и сравнить с открытыми решающими моделями.

Ключевые факты

  • Бенчмарк Hightouch: 1000 синтетических профилей из pseudopeople (Вашингтонский университет), половина, ложные слияния нескольких людей; решающие модели Jev и GPT-6 Luna показали из коробки 88,8-97,3% точности.
  • Решающие модели до 90 раз дешевле и более чем в 10 раз быстрее топ-моделей ($0,05-0,10 за 1000 профилей, около 0,15 с), но на сложных тестах отстают от Opus примерно на 6 процентных пунктов.
  • Уверенность Jev лучше откалибрована: его ошибки в основном при низкой уверенности, а Luna часто ошибается с высокой, поэтому в гибриде выигрывает Jev.
  • Гибрид «Jev, затем Opus» по заявлению авторов достигает точности топ-моделей при затратах ниже более чем в 4 раза; на простом тесте он почти (не полностью) догоняет Opus в одиночку.
  • Данные синтетические, а стоимость и задержки взяты из собственной установки авторов и будут отличаться.

Почему это важно

Оценка качества сведения записей к реальным людям упирается в дорогую ручную проверку: около 50 профилей в час и более 1000 проверок для точности ±1% по доле ложных слияний. Если дешёвая модель с хорошо откалиброванной уверенностью сможет отбирать сомнительные случаи для дорогой, проверку можно сделать быстрее и массовее. Практический вывод для всех, кто строит каскады из моделей: важна не только точность из коробки, но и то, насколько модель «знает», когда ошибается. Из коробки Luna выигрывает, но на сложных данных проигрывает именно из-за переуверенности.

Кому это важно

Командам, которые занимаются данными о клиентах: персонализацией, рассылками, аналитикой, расчётом ценности клиента, и инженерам, которым нужно отслеживать качество IDR. Также тем, кто выбирает между дешёвыми быстрыми моделями и топ-моделями в системах, где цена ошибки неравномерна.

Как это применить

Схема из поста: быстрая модель выдаёт оценку уверенности от 0 до 1, подобранный порог отсекает случаи, в которых она уверена, а спорные уходят на второе мнение топ-модели. Порог нужно подбирать по данным: 50% был произвольным, лучшими оказались 60% для Jev и 70% для Luna. Авторы советуют добавлять в промпт примеры типичных ошибок данных, это дало наибольший прирост всем моделям. Чтобы снизить затраты, порог можно сдвинуть так, чтобы отправлять в Opus меньше случаев, ценой небольшой потери точности. Если случаи заведомо простые или важнее экономия, авторы допускают гибрид с Luna.

Можно ли доверять

Это блог компании, замеры сделаны самими авторами. Данные полностью синтетические (pseudopeople, реальных клиентов и производственных результатов в тексте нет), а стоимость и задержки, по словам авторов, получены в их установке и будут отличаться. В тексте нет точных цифр точности для гибридов и Opus в одиночку (результаты в графиках), нет версии Opus, списка остальных топ-моделей и данных о том, что такое Jev и кто его делает. Заявление «в 4+ раза дешевле» дано как нижняя граница без денежных значений. Утверждение, что решающие модели «не рассуждают», предположение авторов, а не проверенный результат.

Риски и подводные камни

Результат получен на одной задаче и синтетических записях одного вымышленного города; перенос на реальные данные и другие предметные области авторы лишь предполагают. На сложных данных гибрид Jev тратит больше, так как отправляет в Opus больше случаев, и он дороже гибрида с Luna при схожей точности на простом тесте. Решающие модели всё ещё уступают топ-моделям по точности, а порог уверенности нужно подбирать под каждую модель, для Jev результат к нему чувствителен. Недослияние и открытые модели в этом посте не разбирались.