Hugging Face описала модели решений: вероятности вариантов вместо текста

Hugging Face опубликовала в блоге разбор «моделей решений» (decision models). Отправная точка, служба поддержки, которой пришло сообщение: «Меня дважды списали за подписку. Мне нужен возврат сегодня». Системе нужно понять, какая команда должна заняться обращением, насколько оно срочное и просит ли клиент возврат денег. Обычный путь, попросить большую языковую модель вернуть JSON с ответами (в примере это Gemma, запущенная через llama cli: «Billing», «High», true). Идея поста: а что, если модель сразу оценит доступные варианты и вернёт распределение вероятностей, не генерируя никакого текста?
Определение из поста: модель решений берёт входной контекст (state), оценивает вопрос с набором заранее заданных возможных ответов (primitives) и возвращает структурированное решение вместе с вероятностями. Вместо того чтобы просить модель генерировать ответ токен за токеном, ей предлагают присвоить вероятности ответам, которые приложение уже понимает. Базовый интерфейс записан так: состояние + вопросы + допустимые ответы → решения + вероятности. Исторически компания TypeSafe AI представила модель Jev и назвала её «моделью Системы 1» (по аналогии с быстрым интуитивным мышлением); авторы поста пишут, что сообщество сошлось на термине decision model, потому что он описывает вычислительную роль модели, а не отсылает к конкретной теории мышления.
Почему не использовать для этого обычную языковую модель. Пост называет три проблемы: модель не обязана соблюдать запрошенную схему даже при явных инструкциях (может выдать невалидный JSON, лишние ключи или ответ вне допустимых вариантов); ограниченное декодирование (библиотеки Outlines и XGrammar) помогает, но не убирает вычислительных накладных расходов; а когда приложению нужно лишь выбрать из готовых ответов, авторегрессионная генерация целого ответа может быть лишней работой.
Отличие от классификаторов. Традиционный классификатор учится отображать вход на фиксированный набор меток: на выходе по одному логиту на класс, softmax превращает их в вероятности. Ограничение в том, что классы «зашиты» в классификационную голову: если к трём отделам (биллинг, техподдержка, продажи) добавить четвёртый, юридический, может понадобиться менять голову, собирать данные и дообучать модель. Zero-shot-классификация снимает эту часть проблемы: кандидатные метки передаются в момент вывода. В примере с facebook/bart-large-mnli для фразы «My payment was deducted twice.» при трёх метках «billing» получает 0,8467; после добавления метки «legal» оценка «billing» становится 0,8186 (остальные: 0,0930, 0,0552 и у «legal» 0,0332). Пост признаёт, что это уже очень похоже на модель решений. Разница, по его словам, не в том, что модели решений изобрели метки, задаваемые во время работы, или вероятностную классификацию, а в том, что они собирают эти возможности в единый интерфейс, потенциально подкреплённый архитектурами и методами обучения, оптимизированными именно под решения. Кроме того, модель решений принимает несколько именованных вопросов об одном и том же состоянии с разными типами ответов.
Интерфейс. Запрос состоит из state и questions. State, это информация для оценки: строка, структурированный JSON-объект или, для поддерживаемых омнимодальных моделей, другие модальности. Вопросы строятся из трёх примитивов: choice (выбрать один из нескольких ответов), score (оценить по упорядоченной шкале) и noul (вероятностно ответить на вопрос «да/нет»; пост называет это решением Бернулли). Все примеры написаны на transformers: pipeline с именем decision и моделью autotrust/GEV-26B-Decide.
Choice. На вопрос «Какая команда должна заняться этим?» с вариантами billing, technical, sales для сообщения «I was charged twice for my order and want a refund.» модель возвращает выбор billing с confidence 0,9974 и вероятностями 0,9983 (billing), 0,0010 (technical) и 0,0007 (sales). В тексте поста вероятность округляется до 0,998; оставшиеся вероятности, подчёркивает пост, тоже полезны: они показывают, как модель распределяет уверенность между альтернативами.
Score. На вопрос «Насколько срочно обращение?» с уровнями 0 (low), 1 (medium), 2 (high) модель возвращает распределение 0,0149 / 0,2648 / 0,7203 и score 1,7054 при confidence 0,5581. Примитив score возвращает не самый вероятный уровень, а математическое ожидание индекса уровня; в тексте поста оно округлено до 1,7. Пост оговаривает: это не значит, что модель выбрала вымышленный уровень посередине между medium и high, это именно ожидание её распределения.
Noul. Третий примитив показан на вопросе «Просит ли клиент возврат денег?» для того же сообщения; в доступном тексте на этом месте пример обрывается, поэтому его результат здесь не пересказывается.
Ключевые факты
- Модель решений получает состояние (строку, JSON или другие модальности) и вопросы с заранее заданными ответами, а возвращает структурированное решение с вероятностями вместо сгенерированного текста.
- В примерах используется pipeline с именем decision из transformers и модель autotrust/GEV-26B-Decide; примитивов три: choice, score и noul (да/нет).
- В примере choice для сообщения про двойное списание выбран отдел billing: confidence 0,9974, вероятность billing 0,9983; в примере score срочность получила значение 1,7054 (ожидание по уровням 0, 1, 2 с вероятностями 0,0149 / 0,2648 / 0,7203).
- Пост противопоставляет подход JSON-ответам языковой модели (схема не гарантирована, ограниченное декодирование не снимает накладных расходов) и обычным классификаторам (классы зашиты в голову), а zero-shot-классификацию называет близкой по духу.
- Преимущество, по словам поста, не в новой идее, а в едином интерфейсе, потенциально подкреплённом архитектурами и обучением, заточенными под решения.
Почему это важно
Многие приложения уже используют языковые модели для классификации и маршрутизации, и пост предлагает другой интерфейс для таких задач: вместо открытой генерации, вероятности по вариантам, которые приложение заранее знает. Это отвечает на проблемы, названные в посте: не гарантированное соблюдение схемы, накладные расходы ограниченного декодирования и лишняя генерация, когда нужно просто выбрать. Дополнительно к выбору возвращаются оценка по шкале и вероятность «да/нет», то есть сразу несколько решений об одном состоянии.
Кому это важно
Разработчикам, которые строят на языковых моделях маршрутизацию обращений, классификацию, оценку срочности и другие структурированные задачи с конечным набором ответов. Также тем, кто сегодня использует традиционные или zero-shot-классификаторы и хочет понять, чем модели решений отличаются от них по интерфейсу.
Как это применить
В примерах поста вызов выглядит так: создаётся pipeline с именем decision и моделью autotrust/GEV-26B-Decide, затем передаётся словарь с полем state (строка или JSON) и полем questions, где у каждого вопроса есть тип (choice, score или noul), инструкция и критерии. Для choice критерии задаются словарём «вариант, описание», для score, упорядоченным списком уровней. В ответе приходят выбор или оценка, confidence и вероятности. Сведений о лицензии, обучении модели и условиях запуска в доступном тексте нет, поэтому проверять их придётся самостоятельно.
Можно ли доверять
Это пояснительный пост самой Hugging Face; он описывает идею и показывает отдельные примеры с одной фразой-запросом на каждый примитив. В доступном тексте нет замеров точности, задержки или стоимости в сравнении с языковыми моделями и классификаторами, нет сведений о том, как обучена GEV-26B-Decide и кто за ней стоит, а пример noul обрывается до результата. Пост сам оговаривает, что связь с «оптимизированными под решения» архитектурами, потенциальная, а не доказанная.
Риски и подводные камни
Показанные числа взяты из единичных иллюстративных запросов и ничего не говорят о качестве на реальных данных. Уверенность и вероятности, выход модели, а не гарантия правильности: так, для срочности вероятность самого вероятного уровня 0,7203 при confidence 0,5581, а значение 1,7, ожидание распределения, а не выбранный уровень. В посте также не объяснено, почему confidence в примере choice (0,9974) отличается от вероятности billing (0,9983). Наконец, пост сам признаёт, что метки, задаваемые во время работы, и вероятностная классификация уже существуют, выигрыш он видит в едином интерфейсе, а не в принципиально новой возможности.