ИИтог

Команда Granite выпустила Granite Switch 4.1: чат, решения и речь в одной модели

моделиРедакция ИИтогHugging Face🔥64Рейтинг ИИтог64Влияние55Новизна60Релевантность100Неожиданность35Участники60Достоверность85
Команда Granite выпустила Granite Switch 4.1: чат, решения и речь в одной модели

Команда Granite опубликовала анонс Granite Switch 4.1: выпущены модели Granite-Switch-4.1-8B и Granite-Switch-4.1-30B. В каждую из них собраны вместе базовая модель и три добавленные технологии: новый Decision aLoRA для общих решений (например, v1/systemone), специализированный Guardian aLoRA для задач безопасности и встроенная Granite-Speech-5.0-Turbo-CTC, модель распознавания речи, которую авторы называют самой быстрой на OpenASR Leaderboard.

По утверждению авторов, всё это собрано в одну модель, которой на GPU нужно примерно столько же видеопамяти, сколько самой базовой модели: больше возможностей при меньшем числе видеокарт. Адаптеры сделаны как Activated LoRA (aLoRA) с эффективным использованием кэша: KV-кэш, созданный при генерации базовой модели, можно повторно использовать для всех последующих решений на адаптерах. Вместе с недавними доработками команды в vLLM, ускоряющими инференс с низкоранговыми адаптерами, и совмещённым кодировщиком речи модели Granite Switch 4.1, по словам авторов, быстро переключаются между чат-запросом, запросом на решение и голосовым запросом. В качестве демонстрации предлагается пространство Speech-to-Decisions на Hugging Face: granite-switch-4.1-8b там транскрибирует аудио, делает краткие изложения, проверяет на вредный контент и тестирует ещё 15 пользовательских флагов, всё на одной конечной точке в реальном времени.

Авторы напоминают, что модели принятия решений, не новинка: в предыдущем релизе Granite Libraries уже есть набор специализированных «решающих» адаптеров и других адаптеров под отдельные задачи, из которых можно собирать собственные модели Granite Switch. Закрытые решающие модели, включая Jev, нацелены на универсальность, а многие специализированные адаптеры granitelib, как отмечают авторы, на узких классификационных задачах превосходят универсалов. Guardian aLoRA, по их данным, в среднем превосходит Jev 1.13, Microsoft-Decision-1, GPT-Luna-Decisions и Clef-Flash на задачах принятия решений, связанных с безопасностью (числовых результатов в тексте нет). Поскольку адаптеры используют общий KV-кэш базовой модели, добавление специалистов рядом с универсальным адаптером почти ничего не стоит: широкое покрытие даёт универсал, высокую точность на нужных задачах, специалисты.

В «гонке» (Race) между Granite-Switch-4.1-30B (замороженная базовая Granite и 4 специализированных aLoRA) и Jev-27B (замороженная базовая модель Qwen и один универсальный решающий LoRA) модель Granite, по словам авторов, выполнила реальный пятишаговый RAG-процесс значительно быстрее. Конкретных цифр скорости нет.

Модели 8B и 30B выпущены с «батарейками в комплекте», с заранее заданным набором адаптеров, но авторы подчёркивают, что это лишь одна из возможных сборок: любой может собрать собственную модель Granite Switch из адаптеров Granite Libraries. Команда планирует выпустить Adapter SDK для обучения адаптеров в Mellea, а также руководства и поддержку Granite Switch. В качестве примера авторы приводят собственную версию Granite Switch на 3B параметров, обученную играть в Doom: она принимала решения со скоростью 60-100 в секунду, тогда как для Jev авторы приводят заявленные его создателями 10 решений в секунду. В отличие от Jev, эта модель может ещё и комментировать происходящее и отвечать на вопросы во время игры. Подробности и данные по Granite Switch команда обещает опубликовать в ближайшие недели.

Ключевые факты

  • Выпущены Granite-Switch-4.1-8B и -30B: базовая модель плюс Decision aLoRA, Guardian aLoRA и встроенная Granite-Speech-5.0-Turbo-CTC в одной конечной точке.
  • По словам авторов, вся сборка занимает на GPU примерно столько же видеопамяти, сколько базовая модель сама по себе; KV-кэш базовой генерации переиспользуется адаптерами.
  • Guardian aLoRA, как утверждают авторы, в среднем превосходит Jev 1.13, Microsoft-Decision-1, GPT-Luna-Decisions и Clef-Flash на задачах безопасности; числовых результатов в тексте нет.
  • В «гонке» с Jev-27B модель 30B с 4 специализированными aLoRA, по заявлению авторов, значительно быстрее выполнила пятишаговый RAG-процесс.
  • Любой может собрать свою модель Switch из адаптеров Granite Libraries; Adapter SDK для Mellea только планируется, подробности и данные обещаны в ближайшие недели.

Почему это важно

Обычно чат, классификация или проверка безопасности и распознавание речи живут как отдельные сервисы на отдельных ресурсах. Granite Switch 4.1 предлагает собрать их в одну модель с единой конечной точкой, которая, по словам авторов, требует примерно столько же видеопамяти, сколько базовая модель. Ключевая идея, адаптеры Activated LoRA, которые переиспользуют KV-кэш базовой генерации, поэтому добавление специалистов, по утверждению авторов, почти ничего не стоит.

Кому это важно

Командам, которые разворачивают собственные модели и считают видеокарты: им интересен подход «больше возможностей на тех же GPU». Также релевантно тем, кто строит многошаговые RAG-процессы с промежуточными решениями (маршрутизация, классификация, проверка на вредный контент) и голосовые сценарии, где речь нужно сразу превращать в решения.

Как это применить

Авторы предлагают три отправные точки: готовые модели Granite-Switch-4.1-8B и -30B с предустановленным набором адаптеров, демо Speech-to-Decisions на Hugging Face и возможность собрать собственную модель Switch из адаптеров Granite Libraries. В списке ресурсов также указаны карточки моделей, репозиторий Granite Switch на GitHub и ноутбук Colab для сравнения aLoRA и LoRA. Adapter SDK для обучения адаптеров в Mellea пока только запланирован, срок не назван. Условия лицензии и цены в тексте не приведены.

Можно ли доверять

Это пост самой команды Granite, и все сравнения, её собственные заявления. Превосходство Guardian aLoRA над Jev 1.13, Microsoft-Decision-1, GPT-Luna-Decisions и Clef-Flash подано как «в среднем» без чисел; преимущество в «гонке» с Jev-27B описано словом «значительно быстрее» без замеров. Цифра 10 решений в секунду для Jev, это заявленный его создателями показатель из внешней ссылки, а не измерение авторов поста. Сами авторы обещают выложить подробности и данные в ближайшие недели.

Риски и подводные камни

Количественных подтверждений пока нет: ни оценок качества, ни времени выполнения, ни точного размера дополнительных затрат видеопамяти (сказано лишь «примерно столько же»). Сравнение с Jev-27B построено на конкретной конфигурации (4 специализированных aLoRA против одного универсального LoRA), и перенос результата на другие задачи не гарантирован. Пример с Doom, демонстрация возможностей собственной модели 3B, а не независимый тест. Лицензия и дата выпуска в тексте не указаны, Adapter SDK пока не выпущен.