DoorDash: ИИ-жюри заменило людей в оценке метаданных еды

DoorDash хранит каталог из миллионов позиций меню от разных ресторанов, и каждое блюдо описано по-своему: одно и то же блюдо называют десятками способов, а разные блюда, одинаково. Из-за этого нельзя вручную или простыми правилами получить надёжные метаданные (острое ли блюдо, какая у ресторана кухня и т.д.), нужные для поиска и персонализации. Компания построила ИИ-платформу, которая сама генерирует такие метаданные из текста, фотографий и веб-поиска, и описала в блоге четыре ключевых решения.

Первое, «ИИ-жюри»: вместо одного человека-модератора несколько крупных языковых моделей независимо оценивают каждый предложенный тег, голосуют, и их вердикты сводятся в общее решение; каждый тег (например, «острое», «способ готовки», «полезность») проверяется отдельно, а не блюдо целиком. По данным DoorDash, теги, одобренные таким жюри, оказались примерно на 20% точнее типичной ручной разметки людьми, и именно это позволило автоматизировать всю систему дальше.

Второе, агент, который сам дорабатывает промпты по схеме, вдохновлённой обучением с подкреплением: модель находит слабые места в текущей формулировке промпта, предлагает исправления на основе неудачных примеров, а качество на контрольном наборе данных служит «наградой». В отличие от популяционных методов вроде алгоритма GEPA (где перебирают много вариантов промпта и скрещивают лучшие), агент DoorDash целенаправленно правит промпт по конкретным ошибкам, а не перебирает варианты вслепую, это требует меньше итераций. Такой цикл ускорил разработку промптов в десять раз и поднял точность более чем на 20% на отложенной проверочной выборке. Команда отмечает: неудачные примеры дают больше сигнала для улучшения, чем успешные, а качество оценочного набора данных критично, разметка низкого качества уводит агента «в шум».

Третье, ИИ сам размечает обучающие данные для дообучения небольших специализированных моделей (SLM): это избавило от ручной разметки и позволило довести качество этих моделей до уровня топовых языковых моделей при 10% от их стоимости инференса (по другой оценке в тексте, снижение расходов на инференс примерно на 90% при сопоставимом качестве).

Четвёртое, распределённый конвейер для инференса на огромных объёмах: похожие позиции меню сначала дедуплицируются, затем данные распределяются по кластеру Spark, обрабатываются батчами через пакетные API моделей, а результаты сопоставляются обратно с исходными позициями. Это сократило полную переразметку каталога с более чем месяца до нескольких дней, что сделало ежедневное обновление метаданных операционно возможным при сотнях тысяч изменений в меню в день. Ритейлеры (владельцы ресторанов) при этом могут вручную подтверждать или исправлять сгенерированные атрибуты. Полученные метаданные используются для поиска, фильтрации блюд, персонализации и аналитики на платформе DoorDash.

Ключевые факты

• «ИИ-жюри» из нескольких языковых моделей проверяет теги голосованием и оказалось примерно на 20% точнее ручной разметки людьми
• Агент для автодоработки промптов (по мотивам обучения с подкреплением) ускорил создание промптов в 10 раз и поднял точность более чем на 20%
• ИИ сам размечает обучающие данные для дообученных моделей, которые достигают качества топовых LLM при 10% стоимости инференса
• Распределённый конвейер на Spark с дедупликацией и батчевой обработкой сократил переразметку всего каталога с более чем месяца до нескольких дней
• Владельцы ресторанов могут вручную подтверждать или исправлять сгенерированные атрибуты блюд

Почему это важно

Это конкретный производственный пример того, как заменить дорогую и медленную человеческую разметку на консенсус нескольких ИИ-моделей без потери, а даже с ростом качества (+20% против людей). Также показано, как автоматизировать саму разработку промптов агентом вместо ручного подбора формулировок инженерами.

Кому это важно

Инженерным командам, которые строят ИИ-конвейеры для генерации структурированных данных (метаданных, тегов, категорий) из неструктурированного текста и изображений в большом масштабе, маркетплейсам, каталогам товаров, поисковым и рекомендательным системам.

Как это применить

Описанные приёмы переносимы: консенсус нескольких LLM-оценщиков вместо одного эксперта для контроля качества; автоматический агент, который правит промпт по неудачным примерам вместо ручной итерации; дообучение небольших моделей на данных, размеченных самим ИИ, для снижения стоимости инференса; дедупликация и батчевая обработка перед запуском LLM для больших объёмов данных.

Можно ли доверять

Материал, инженерный отчёт компании о собственной внутренней системе, без независимой проверки цифр (+20% точности, -90% стоимости) сторонними источниками; конкретные пороги и датасеты не раскрываются, поэтому цифры стоит воспринимать как заявления DoorDash, а не как строго воспроизводимый результат.

Риски и подводные камни

Качество всей схемы упирается в качество исходного проверочного набора данных: команда сама отмечает, что разметка низкого качества уводит агента-оптимизатора промптов «в шум» и портит результат. Кроме того, оценка одними LLM других LLM (жюри) может систематически ошибаться там, где ошибаются сами модели, а не там, где ошибся бы человек.