PostHog рассказала, где вместо LLM хватает малых моделей решений

В рассылке PostHog Джина Юн (Jina Yoon) подводит итоги опыта с «моделями решений» (decision models). Это небольшие модели, которым задают структурированный вопрос и в ответ получают типизированный ответ с вероятностью: например, «Ежи, млекопитающие?» → «Да, 0,99». В отличие от LLM, выдающих свободный и излишне уверенный текст, такие модели делают неопределённость явной. В откалиброванной модели ответы с оценкой 0,8 верны примерно в 80% случаев, а оценка 0,5, это подбрасывание монетки. В PostHog с ними экспериментируют, и несколько сценариев дошли до продакшена. В статье упомянуты модели Jev и Jeeves. По словам автора, модели решений до 444,6 раза дешевле и до 193,6 раза быстрее передовых моделей (в тексте это цифра со сноской).
Первый приём, фильтр перед дорогим вызовом LLM. В Replay Vision (продукт, который смотрит записи пользовательских сессий и пересказывает их) каждое резюме сессии проходит два вопроса «да/нет»: «Называет ли это реального человека?» и «Показывает ли это контактные данные или идентификатор?». Два узких вопроса, по данным статьи, сокращают ложные срабатывания примерно до десятой части от того, что давал один общий вопрос. Если хотя бы один балл не ниже 0,4, Gemini переписывает резюме без личных данных, после чего его проверяют снова. Иначе резюме считается чистым. В продакшене 98,7% резюме вообще не доходят до LLM. Без этого пришлось бы возиться с промптами и регулярными выражениями, которые что-то пропускают, или гнать все резюме через Gemini ради 1% нужных случаев. Порог 0,4 выбран низким, потому что ложное срабатывание стоит лишь лишнего вызова LLM, а пропуск сохранит персональные данные как чистые. Если дороже ошибается ложное срабатывание, порог поднимают: бот PostHog в Slack отвечает на сообщения без упоминания, только если сообщение и просит информацию, и PostHog может на него ответить, оба балла должны быть не ниже 0,85. Автор напоминает, что даже 0,85, это около 150 неверных ответов на 1000 проверок.
Второй приём, маршрутизатор моделей. Тот же бот, когда его упоминают, сначала смотрит, не просили ли конкретную модель. Если нет, один вопрос с выбором из списка подбирает вариант по формуле «самый дешёвый, который с наибольшей вероятностью справится с первой попытки». У каждого варианта есть короткая заметка; например, GPT Luna описана как лёгкая и очень дешёвая модель для коротких ответов, поиска, резюме и мелких правок. Но пороги не переносятся между задачами, моделями и провайдерами: при автоматическом объединении похожих логов в Error Tracking пороги изменились между версиями v1 и v2 одной и той же модели. Пришлось сделать их настраиваемыми для каждого проекта PostHog и держать судью в теневом режиме, пока перекалибровка идёт по размеченным вручную данным. Поэтому Фернандо из команды роста ещё раньше настоял на интерфейсе, не привязанном к модели; теперь у PostHog внутренний AI-шлюз для подмены и тестирования моделей, включая самостоятельно размещённые.
Третий приём, проверки «по внешнему виду». Если вопрос требует контекста или цепочки рассуждений, лучше взять LLM, но модель решений годится, если вход можно упростить или предобработать. В поиске Replay Vision эмбеддинги иногда выдают неожиданные результаты, а попросить модель решений «ранжировать топ-10 сессий» слишком сложно. Поэтому сначала эмбеддинги формируют список, а модель решений оценивает по каждой записи один вопрос: описывает ли резюме сессию, соответствующую поиску. Результаты переупорядочивают по вероятности; на 20 тестовых запросах качество ранжирования выросло примерно на 25%. Многошаговые рассуждения, напротив, не прижились: для ленты «Highlights» («стоящие просмотра сессии») пробовали два вопроса подряд, стоит ли смотреть сессию и почему. Почасовое задание слало запросы до 32 сессий по 12-38 тыс. токенов каждая и на часы заблокировало вызовы других продуктов к серверу моделей. Вывод: цепочки технически возможны, но операционно не стоят затрат.
Четвёртый приём, замена избыточно мощных LLM. Пример, выбор диаграммы для SQL-запросов. Раньше работали детерминированные правила (дата + число + несколько строк → линейный график, два текстовых столбца + число → тепловая карта, любой числовой столбец → столбчатая диаграмма). Теперь модель решений смотрит на SQL (если организация согласна) и первые три строки результата. В примере с просмотрами страниц по браузерам старые правила выбрали обычную агрегированную линию, а Jev, столбчатую диаграмму с разбивкой по браузерам.
Граница применимости: открытые задачи по-прежнему за LLM. Эксперимент по ранжированию находок внутреннего агента для ревью кода пятью вопросами дал неубедительный результат, AUC 0,52. Jev не справляется с большими запросами (по умолчанию 64 тыс. токенов на запрос и 32 тыс. на вопрос; opt-in-заголовок TypeSafe поднимает оба лимита до 262 тыс., но длинный режим медленнее и менее точен). Гибридные модели вроде Jeeves, разработанного внутренней исследовательской командой PostHog, сначала рассуждают, если не уверены; теперь это модель PostHog по умолчанию для вызовов решений без указания модели. Итог автора: модели решений нужны для входов, слишком простых для языковой модели, но слишком расплывчатых для регулярного выражения. Статью автор, по собственным словам, ждёт устаревшей через два месяца.
Ключевые факты
- Модель решений отвечает на структурированный вопрос типизированным ответом с вероятностью; в откалиброванной модели оценка 0,8 означает примерно 80% верных ответов, 0,5, монетку.
- В конвейере удаления персональных данных Replay Vision два вопроса «да/нет» с порогом 0,4 пропускают без вызова LLM 98,7% резюме; остальные переписывает Gemini.
- Порог зависит от цены ошибки: 0,4 там, где дешевле ложное срабатывание, и 0,85+ для бота в Slack, где ложные срабатывания раздражают; даже 0,85, около 150 ошибок на 1000 проверок.
- Переранжирование результатов поиска по вероятности улучшило качество примерно на 25% на 20 тестовых запросах; многошаговая цепочка вопросов для ленты Highlights на часы заблокировала сервер моделей.
- Для открытых задач модели решений слабы: AUC 0,52 при ранжировании находок ревью-агента, жёсткие лимиты контекста у Jev; частичный ответ, гибридная модель Jeeves.
Почему это важно
Часто дорогую LLM зовут там, где нужен простой вердикт «да/нет» или выбор из списка. PostHog показывает на реальных продуктах, как поставить перед LLM дешёвый фильтр: в конвейере удаления персональных данных 98,7% резюме вообще не доходят до Gemini. Главная идея, модель, которая явно выдаёт вероятность, позволяет подбирать порог под цену ошибки, а не надеяться на уверенный текст.
Кому это важно
Разработчикам продуктов на LLM, которые считают стоимость и задержку вызовов; командам, строящим фильтры, маршрутизаторы моделей, переранжирование поиска и модерацию. Полезно и тем, кто решает, где регулярных выражений уже мало, а полноценная LLM избыточна.
Как это применить
Автор предлагает четыре шаблона: фильтр перед дорогим вызовом (порог выбирайте по тому, какая ошибка дороже); маршрутизатор через один вопрос с выбором, где у каждого варианта есть короткое описание; проверка «по внешнему виду» на предобработанном входе, например переранжирование после поиска по эмбеддингам; замена избыточной LLM в простых задачах вроде выбора типа диаграммы по SQL и первым трём строкам результата. Пороги нужно калибровать отдельно для каждой задачи и модели, а при смене версии модели перепроверять; в PostHog для этого они сделаны настраиваемыми по проектам, а судью держали в теневом режиме. Вопросы лучше делать узкими: два вопроса сократили ложные срабатывания примерно до десятой части.
Можно ли доверять
Это рассказ самой компании о собственных продуктах в её же рассылке, поэтому цифры по сути самоотчёт. Данные о том, что модели решений до 444,6 раза дешевле и до 193,6 раза быстрее передовых, даны со сноской, но условия измерения в тексте не показаны. Эффект переранжирования (около 25%) измерен на всего 20 тестовых запросах, метрика не названа. Показатели ложных срабатываний и пропусков для PII-фильтра и бота в Slack, кроме порогов, не приводятся. Плюс: автор прямо описывает неудачи, AUC 0,52 и перегрузку сервера. Он же ждёт, что статья устареет за два месяца.
Риски и подводные камни
Вероятность, не гарантия: при оценке 0,85 остаётся около 150 ошибок на 1000 проверок, поэтому нужен план на ложные срабатывания и пропуски. Пороги не переносятся между моделями и даже версиями одной модели. Цепочки из нескольких моделей решений нагружают инфраструктуру (в случае Highlights, на часы заблокировали вызовы других продуктов). У Jev жёсткие лимиты контекста, а длинный режим медленнее и менее точен. Для открытых задач с рассуждением нужна LLM; гибридные модели вроде Jeeves, которая сначала рассуждает, если не уверена, только сужают разрыв.
«Выбери самый дешёвый вариант, который с наибольшей вероятностью справится с задачей с первой попытки. Неудачный запуск обходится дороже, чем более умный вариант.»
— вопрос-маршрутизатор бота PostHog в Slack (текст промпта, из статьи PostHog)