TypeSafe AI выпустила Jev: быстрая модель решений без галлюцинаций

TypeSafe AI выпустила Jev: быстрая модель решений без галлюцинаций

15 сентября стартап TypeSafe AI выпустил модель Jev. Компания называет её «моделью Системы 1» (отсылка к теории Даниэля Канемана о быстром интуитивном мышлении) и утверждает, что она дешевле, быстрее и не способна галлюцинировать. Исследователи чаще называют такие системы «моделями решений» (decision models). Недавно TypeSafe AI привлекла $870 млн при оценке $7,5 млрд. По словам IEEE Spectrum, самый заметный показатель успеха Jev, множество подражателей: Cloudflare, Amazon, OpenAI и Microsoft быстро выпустили собственные модели решений, а стартапы, академические группы и независимые энтузиасты, ещё десятки. Независимый разработчик Мэтт Мастраччи (Matt Mastracci), обучивший несколько таких моделей (включая Djev, который Cloudflare назвала источником вдохновения), говорит, что за шесть-семь недель вышли десятки моделей. Главное преимущество, скорость и цена. TypeSafe AI заявляет сквозную задержку ответа Jev от 70 до 500 мс; обычным большим языковым моделям на ответ нужно как минимум несколько секунд, а сложные задачи вроде написания программы с нуля могут занимать часы. Препринт, соавтором которого выступил Рамайя Кришнан (Ramayya Krishnan), профессор информационных систем Университета Карнеги, Меллона, с коллегами, показал медианную задержку Jev 150 мс на нескольких тестах точности решений, включая RewardBench и JudgeBench. У GPT-6 Astra, самой мощной на тот момент модели OpenAI, медиана составила 1,89 с. Цена Jev, $0,042 за миллион входных токенов, выходные токены бесплатны. GPT-6 Astra стоит $10 за миллион входных и $50 за миллион выходных токенов, а быстрый вариант GPT-6 Luna, $0,10 и $0,50. Как это работает, TypeSafe AI почти не раскрывает, зато открытые аналоги прозрачнее. Мишель Чен (Michelle Chen), групповой менеджер по продукту в Cloudflare, объясняет на примере открытой модели Clef (основана на Qwen от Alibaba, бесплатно доступна на Hugging Face): обычная языковая модель генерирует ответ по одному токену, каждый раз глядя на все предыдущие, а модель решений делает один проход вперёд и сразу выдаёт один результат, отсюда скорость. Архитектура на основе трансформера и нейроны остаются, но часть, превращающая токены в текст, изменена так, чтобы ограничивать вывод. Как говорит профессор Фуданьского университета Чжунъюй Вэй (Zhongyu Wei), Jev отвечает только в заранее заданном структурированном формате: ему дают вопрос и варианты A, B, C, и он обязан выбрать один из них, вернув вероятности. По сути это возврат к классификаторам (спам-фильтры, распознавание лиц), которые сортируют данные по классам. Чен называет это «почти ребрендингом», но у моделей решений есть ключевое улучшение, обобщение: классификаторы раньше требовали узкоспециального обучения, а модель решений сохраняет общий интеллект языковой модели. Cloudflare уже применяет их для пометки спамных pull request в репозитории документации на GitHub, ловли спама и фишинговых писем, обнаружения фишинговых доменов, выявления атак через внедрение инструкций (prompt injection) и чтения писем об авариях на магистральных сетях, чтобы оценить влияние на сервисы компании. Мастраччи видит применение в модерации потока соцсетевых постов или очень оживлённого чата, а Чен считает, что «вероятно» 80% типичных задач для языковых моделей можно перенести на такие модели. Галлюцинаций у моделей решений действительно нет: они считают вероятности только среди заранее заданных вариантов и выбирают наиболее вероятный, тогда как языковая модель много раз выбирает из огромного словаря токенов, и менее вероятный токен может увести ответ. Но Кришнан предупреждает: отсутствие галлюцинаций в выводе не устраняет ошибок в принятии решений. Когда он с соавторами просил Jev определить, верны ли ответы на вопросы, модель хорошо справлялась, если вердикт легко найти при чтении запроса, но заметно хуже, когда нужны математика или логическая головоломка. Исследование Вэя и соавторов показало, что лучшие модели решений могут слегка превосходить языковые по точности в вопросах на понимание документов и почти догоняют их в выборе нужного инструмента, но отстают в областях, где нужна предметная экспертиза: медицине, финансах и праве. Вэй считает важным фактором рассуждение, но отмечает, что оно объясняет разрыв не во всех случаях, а свою модель SII-Decision обучал специально под решения. Модели решений и языковые модели не обязаны конкурировать. Кришнан с коллегами передавали ответы Jev с низкой уверенностью на проверку GPT-6: такая связка слегка превзошла по точности один GPT-6 при 41% его стоимости. Вэй полагает, что такая «гибридная архитектура» станет обычной: модель решений вызывает языковую модель для подробного объяснения, а языковая модель, модель решений для быстрого суждения.

Ключевые факты

  • 15 сентября TypeSafe AI выпустила Jev, «модель решений» (по её словам, «Системы 1»), которая выбирает ответ из заранее заданных вариантов и поэтому не галлюцинирует; недавно стартап привлёк $870 млн при оценке $7,5 млрд.
  • Компания заявляет задержку 70-500 мс; по препринту с участием Рамайи Кришнана медиана Jev, 150 мс против 1,89 с у GPT-6 Astra. Jev стоит $0,042 за миллион входных токенов, выходные бесплатны.
  • Cloudflare, Amazon, OpenAI и Microsoft быстро выпустили похожие модели; у Cloudflare открытая Clef доступна на Hugging Face и уже ловит спам, фишинг и атаки через внедрение инструкций.
  • Нет галлюцинаций, не значит нет ошибок: Jev хуже справляется с математикой и логическими задачами, а модели решений отстают в медицине, финансах и праве.
  • Связка Jev с GPT-6 (низкоуверенные ответы уходят в GPT-6) слегка превзошла по точности один GPT-6 при 41% его стоимости.

Почему это важно

Скорость и цена языковых моделей остаются главным ограничением для массовых задач, а Jev показывает другой путь: один проход вместо генерации токен за токеном и ответ в фиксированном формате. По данным статьи, за несколько недель к идее присоединились крупнейшие компании и десятки независимых разработчиков, так что речь идёт уже не об одном продукте, а о новом классе моделей. При этом сами исследователи напоминают, что по сути это возвращение классификаторов, получивших способность обобщать задачи.

Кому это важно

Командам, которым нужно быстро и дёшево обрабатывать большие потоки текста: модерация постов и чатов, фильтрация спама и фишинга, защита от атак через внедрение инструкций, разбор входящих писем и документов. Также тем, кто сейчас обучает собственные классификаторы: по словам Чен, раньше для этого требовалось собрать много данных, поднять команду машинного обучения и дообучать модель, а модель решений это требование снимает.

Как это применить

Статья описывает такие сценарии: быстрые суждения о письмах, сообщениях и документах; выбор подходящего инструмента из списка; пометка спама и фишинга. Из доступных вариантов упомянуты Jev (платный: $0,042 за миллион входных токенов, выходные бесплатны) и открытая Clef от Cloudflare, которую можно скачать на Hugging Face. Задача должна укладываться в формат «вопрос плюс варианты», из которых модель выбирает один и возвращает вероятности. Для сложных случаев в тесте Кришнана с коллегами сработала гибридная схема: ответы Jev с низкой уверенностью передавались GPT-6, что дало чуть более высокую точность, чем у одного GPT-6, при 41% его стоимости. Это результат на тестовых наборах, переносить его на любые задачи оснований нет.

Можно ли доверять

Материал, журналистская статья IEEE Spectrum, где есть и заявления компании, и оценки независимых исследователей. Утверждения про «дешевле, быстрее и без галлюцинаций» принадлежат TypeSafe AI; диапазон задержки 70-500 мс, тоже заявление компании. Статья сообщает, что независимое тестирование (препринт с участием Кришнана) подтвердило скорость: медиана 150 мс. Название препринта и полный список авторов в статье не приводятся. Тезис об отсутствии галлюцинаций статья признаёт верным «строго говоря» и объясняет механизм. Оценка Чен про 80% задач, осторожное предположение («вероятно»), а не измерение. Как Jev достигает скорости, компания почти не раскрывает: механизм одного прохода описан на примере Clef, а не Jev.

Риски и подводные камни

Отсутствие галлюцинаций не устраняет ошибок в решениях: Jev ухудшал результат, когда вердикт требовал математики или логической головоломки. Лучшие модели решений слегка обходят языковые модели на понимании документов и почти догоняют их в выборе инструментов, но отстают там, где нужна предметная экспертиза: в медицине, финансах и праве. Модель отвечает только в заранее заданном формате, так что для свободных ответов она не подходит. Данные об экономии гибридной схемы получены на тестовых наборах. Точность Jev в статье числом не указана, сказано лишь, что связка «слегка» превзошла GPT-6. Сами эксперты отмечают, что подход не нов («почти ребрендинг»).

«Это почти как ребрендинг.»

— Мишель Чен, групповой менеджер по продукту в Cloudflare, о моделях решений