Perplexity выпустила Decider v1.3: модели для классификации и ранжирования

Perplexity выпустила Decider v1.3: модели для классификации и ранжирования

Perplexity выпустила Decider v1.3 и Decider Flash v1.3, преемников прежних моделей v1, v1.1, v1.2 и Flash v1.2. Flash v1.3, меньшая модель, полученная дистилляцией из Decider v1.3. Обе доступны на Hugging Face по лицензии Apache, через OpenRouter и через Perplexity Decisions API. По словам компании, Decider вдохновлён моделью Jev (System One Model от TypeSafe AI).

Модель принятия решений (decision model), это универсальный классификатор. На вход подаются текст и набор вопросов с вариантами ответов, а на выходе для каждого вопроса, распределение вероятностей по вариантам. Поддерживаются три типа вопросов: «да/нет», выбор из нескольких вариантов (свои метки классов) и оценка по упорядоченной шкале. Применять её предлагается для оценки ответов (достоверность, качество, безопасность), маршрутизации запросов к меньшим или большим моделям по сложности, модерации и защиты (вредный контент, фишинг, внедрение инструкций в выводе инструментов), фильтрации и разметки больших коллекций, а также для поиска и переранжирования результатов по релевантности. Многие такие задачи раньше отдавали генеративным моделям, хотя свободный текст там не нужен. Decider занимает промежуток между большими языковыми моделями и узкими классификаторами: он возвращает вероятности по нескольким вопросам об одном входе за один прямой проход, без пословной генерации и с общими вычислениями на все вопросы, а новые задачи ставятся обычным языком.

Устройство: запрос состоит из общего контекста (состояния, state) и нескольких вопросов. После каждого вопроса стоят варианты с метками A, B, C и специальный токен <|marker|>, в позиции которого читается предсказание. Обучаемый линейный слой (decision head) переводит скрытое состояние в оценки вариантов; его инициализируют из выходного слоя базовой модели, оставляя только строки для токенов-меток. Для обучения берут сотни публичных наборов данных (тональность, логический вывод, определение намерений, сопоставление сущностей, модерация, проверка фактов, оценки и др.), приведённых к единому формату. Целью служит либо единственный верный вариант, либо распределение вероятностей.

Новое в v1.3. Во-первых, двунаправленное внимание: абляции показали, что если сделать полные слои внимания базовой модели двунаправленными, качество растёт. Для взаимодействия состояния и вопросов рассматривали три схемы: «всё видит всё» (v1.2; ответ может зависеть от того, какие ещё вопросы заданы), «изолированные вопросы» (v1.3; состояние видит все вопросы, а каждый вопрос, только состояние и собственные токены, что стабильнее) и «полностью кэшируемую» (состояние видит только себя; по умолчанию не используется, потому что для ряда задач важно, чтобы состояние видело вопросы, но небольшим дообучением модель можно переключить на неё). Выбраны изолированные вопросы. Во-вторых, лучше отобранные данные и доработанный рецепт обучения. В-третьих, новая функция locate: она выделяет в тексте нужные фрагменты для распознавания именованных сущностей, поиска персональных данных и экстрактивных вопросов-ответов. Вопрос locate задаёт искомое короткой меткой («location») или инструкцией; модель возвращает точный текст из состояния с позициями начала и конца в символах, а если совпадений нет, пустой список. В одном запросе можно сочетать locate, классификацию и оценку, например проверить, требуется ли должности старший уровень, и вытащить нужные навыки.

Рецепт обучения, три этапа для обеих моделей. Большую модель на основе Qwen3.8-27B (так написано в источнике) обучают с кросс-энтропией на больших наборах данных, затем дистиллируют в меньшую Qwen3.5-4B. Первый этап, «универсальный»: полное дообучение на широких корпусах, без обучающих частей каких-либо бенчмарков. Второй, более тонкий, через LoRA, на данных для конкретных областей и задач; данные переносят сюда, если на первом этапе видны узкие приросты или регрессии на других задачах. LoRA нужна, чтобы не уйти далеко от универсальной модели, а при слиянии адаптера в базовую модель используют вес, отдавая приоритет метрикам на отложенных данных. Третий этап, визуальный: ещё один LoRA-адаптер со слиянием с весом; поскольку модели в основном используют на тексте, текстовые метрики важнее визуальных. На обоих текстовых этапах усредняют веса трёх запусков с разными случайными зёрнами, это повышает качество и устойчивость. При дистилляции предсказания большой модели заменяют метки, а малая минимизирует KL-дивергенцию к ним. Такая цель превзошла кросс-энтропию на тех же данных: кросс-энтропия лучше на бенчмарках со своими обучающими данными, но хуже обобщается на отложенные. Объяснение (дистилляция лучше передаёт распределение учителя, включая уверенность по неверным вариантам) авторы называют гипотезой. Чтобы снизить утечку данных между обучением и тестом, удаляют обучающие примеры, которые могут пересекаться с используемыми оценками, и проводят аудит смещений.

Locate обучают отдельным этапом: добавляют токен <|locate|>, «голову» для выбора отрезков (span head) и LoRA-адаптер, а исходные веса и decision head замораживают. Голова оценивает начало и конец фрагментов и их пары и предсказывает пороги для каждого поля; обучение идёт с адаптированной функцией потерь InfoNCE. Полей без ответа учат возвращать пустой список. Обучающая смесь включает распознавание сущностей, поиск персональных данных и экстрактивные вопросы-ответы, а формулировки полей варьируют от меток до подробных инструкций. Слияние адаптеров locate с базовой моделью пока ухудшает работу на запросах-решениях, поэтому адаптеры хранят отдельно и включают только для запросов locate.

Оценку проводят на внешних бенчмарках: Hugging Face Decision Index, ClaimBench от Vals AI и Artificial Analysis Decision Index. Компания пишет, что модели показывают сильные результаты, но признаёт, что даже таблицы лидеров с закрытыми задачами можно «накрутить» повторными отправками и подстройкой под отзывы. Доступный текст обрывается в начале раздела об оценке, поэтому цифр результатов и описания внутреннего использования в Perplexity в нём нет.

Ключевые факты

  • Perplexity выпустила Decider v1.3 и дистиллированную меньшую Decider Flash v1.3; веса на Hugging Face по лицензии Apache, также OpenRouter и Perplexity Decisions API.
  • Модель принятия решений, универсальный классификатор: для вопросов «да/нет», с выбором вариантов и с оценкой по шкале возвращает вероятности за один прямой проход, без пословной генерации.
  • В v1.3 появились двунаправленное внимание, схема «изолированных вопросов», улучшенные данные и рецепт обучения, а также функция locate для выделения фрагментов (сущности, персональные данные, экстрактивные вопросы-ответы).
  • Три этапа обучения: полное дообучение, LoRA на конкретных областях и визуальный LoRA-шаг; большая модель на Qwen3.8-27B (как в источнике), малая, на Qwen3.5-4B через KL-дистилляцию, которая обошла кросс-энтропию.
  • Оценка идёт на Hugging Face Decision Index, ClaimBench (Vals AI) и Artificial Analysis Decision Index; в доступной части текста численных результатов нет.

Почему это важно

Perplexity открыла веса собственных моделей, которые заменяют генеративную модель там, где нужен не текст, а решение: оценка ответов, маршрутизация, модерация, переранжирование. Идея в том, что вероятности по нескольким вопросам об одном входе считаются за один прямой проход, а не генерируются по токенам. Версия 1.3 добавляет двунаправленное внимание и функцию locate, расширяя применение от классификации до выделения фрагментов текста.

Кому это важно

Разработчикам приложений на больших языковых моделях, которым нужны дешёвые и быстрые проверки: оценка достоверности и безопасности, маршрутизация запросов, фильтрация и разметка контента, обнаружение фишинга и внедрения инструкций, ранжирование результатов поиска. Также тем, кто занимается распознаванием сущностей и поиском персональных данных, и исследователям дистилляции и дообучения классификаторов на основе генеративных моделей.

Как это применить

Обе модели доступны на Hugging Face по лицензии Apache, через OpenRouter и через Perplexity Decisions API. Запрос формулируется как общий текст (состояние) плюс один или несколько вопросов с вариантами ответов; на выходе вероятности по вариантам. Для locate описывают искомое меткой или инструкцией и получают точные фрагменты с позициями символов либо пустой список. Если важен повторный вызов с общим состоянием и кэширование запросов, источник упоминает «полностью кэшируемую» схему: она не включена по умолчанию, но небольшим дообучением модель можно на неё переключить. Цены и задержки в доступном тексте не указаны.

Можно ли доверять

Это пост самой Perplexity о собственных моделях, то есть первоисточник, но не независимая проверка. Авторы описывают меры против утечки данных между обучением и тестом (удаление пересекающихся примеров, аудит смещений) и сами признают, что таблицы лидеров можно подстроить повторными отправками. Доступный текст обрывается в начале раздела об оценке, поэтому утверждение о «сильных результатах» в нём цифрами не подкреплено. Объяснение превосходства дистилляции над кросс-энтропией дано как гипотеза.

Риски и подводные камни

Слияние адаптеров locate с базовой моделью пока ухудшает качество на запросах-решениях, поэтому их хранят отдельно и включают только для locate, а это усложняет развёртывание. Визуальный этап настроен с приоритетом текстовых метрик над визуальными, так как модели в основном используют на тексте; для задач с изображениями это стоит проверять отдельно. В схеме «изолированных вопросов» вопросы всё же могут влиять друг на друга косвенно через общее состояние. Результаты сравнения с другими моделями в доступной части текста не приведены, так что выбирать модель стоит по собственным тестам.