PrismML выпустила Bonsai 27B, 27-миллиардную нейросеть для смартфона

Стартап PrismML, команда выпускников Калтеха, работающая при поддержке инвесторов Khosla Ventures, Cerberus и Google и продолжающейся поддержке Samsung, представил Bonsai 27B, новый флагман линейки мультимодальных моделей Bonsai. Модель построена на базе Qwen3.6 27B и, по заявлению компании, стала первой моделью класса 27 миллиардов параметров, способной работать прямо на смартфоне.

Раньше это было практически невозможно: модель на 27 миллиардов параметров в 16-битной точности занимает около 54 ГБ, а даже качественная 4-битная сборка, 18 ГБ, что слишком много и для телефона, и для большинства ноутбуков. PrismML сжимает веса гораздо агрессивнее, до 1, 2 бит на вес, но, по утверждению компании, делает это по всей сети целиком: языковые слои, эмбеддинги, механизм внимания, полносвязные блоки (MLP) и финальный слой предсказания токена, без каких-либо «лазеек» с повышенной точностью.

Bonsai 27B выходит в двух вариантах. Ternary Bonsai 27B использует тернарные веса {−1, 0, +1} с групповым масштабированием в FP16, эффективно 1,71 бита на вес; модель занимает 5,9 ГБ и ориентирована на качество: она запускается на обычном ноутбуке с полным набором возможностей, рассуждениями, вызовом инструментов и агентными сценариями. 1-bit Bonsai 27B использует бинарные веса {−1, +1} с той же схемой масштабирования, эффективно 1,125 бита на вес; она занимает 3,9 ГБ и ориентирована на компактность: по данным PrismML, это первая модель такого класса, укладывающаяся в бюджет памяти iPhone 17 Pro.

Здесь важна деталь: телефон никогда не отдаёт приложению всю память целиком, на 12-гигабайтном iPhone под модель реально доступно около 6 ГБ, и этот бюджет делится с KV-кэшем и промежуточными активациями. По утверждению PrismML, ни одна обычная сборка модели такого размера в этот бюджет не помещается, 1-bit Bonsai 27B, занимающая около 4 ГБ, первая проходит через это ограничение с запасом.

На наборе из 15 бенчмарков, знания, рассуждения, математика, код, следование инструкциям, вызов инструментов и работа со зрением, все оценивались в «режиме размышления» (thinking mode), когда модель выдаёт полную цепочку рассуждений, Ternary-версия сохраняет 95% качества полноточной базовой модели, а 1-bit-версия, 90%. Математика и код почти не пострадали; способность вызывать инструменты, ключевая для агентных сценариев, осталась в пределах нескольких пунктов от полной точности. Для сравнения, наиболее агрессивная из обычных низкобитных сборок той же базовой модели показывает результат заметно ниже, чем 1-bit Bonsai 27B, при этом занимая в 2,5 раза больше памяти.

PrismML называет это тем же «сдвигом Парето», который компания уже демонстрировала на более ранних языковых и графических моделях, только теперь на масштабе 27 миллиардов параметров: по возможностям это модель уровня 27B, а по объёму памяти она компактнее полноточной модели на 2 миллиарда параметров. Для этого сдвига PrismML вводит метрику «плотности интеллекта», отношение качества модели к занимаемому объёму памяти: по этой метрике 1-bit Bonsai 27B даёт 0,53 балла на гигабайт, более чем в 10 раз выше показателя полноточной базовой модели и примерно в 2,7 раза выше лучшей из доступных низкобитных альтернатив.

На видеокарте NVIDIA GeForce RTX 5090 модель выдаёт до 163 токенов в секунду в 1-битном варианте и до 134 токенов в секунду в тернарном; на чипе Apple M5 Max, до 87 и 58 токенов в секунду соответственно. Обе версии поддерживают контекст в 262 тысячи токенов и спекулятивное декодирование (speculative decoding), ускорение генерации за счёт «черновика» токенов с последующей проверкой без потери качества. Обе версии полностью мультимодальны: модуль зрения поставляется в компактном 4-битном виде, поэтому локальные сценарии на устройстве могут анализировать скриншоты, документы и изображения с камеры, а не только текст.

Аргумент PrismML: самая ценная работа ИИ смещается от единичных ответов к длинным цепочкам действий, ассистентам, которые пользуются реальными инструментами, автономно выполняют сценарии и сводят воедино десятки документов; такой агент делает не один вызов модели, а сотни подряд, каждый раз передавая контекст и получая структурированный результат для следующего шага. Облачные API остаются оправданным выбором для многих продуктов, но для агентных сценариев исполнение только в облаке создаёт структурные ограничения: каждый шаг, это отдельный сетевой запрос, затраты на токены копятся с каждой итерацией, а через сеть проходит каждый план, вызов инструмента и промежуточный результат, включая приватные файлы, экран и данные пользователя. Когда модель, способная на устойчивую агентную работу, помещается на устройство, агент может жить прямо внутри продукта: предельная стоимость стошагового цикла становится нулевой, а данные пользователя не покидают машину. Это же открывает гибридную архитектуру: рутинные и чувствительные к приватности задачи обрабатывает локальная модель, а «фронтирные» облачные модели остаются только для самых сложных шагов, так снижается стоимость каждой агентной задачи в целом.

Веса обеих версий Bonsai 27B выложены уже сегодня под лицензией Apache 2.0. Модель нативно работает на устройствах Apple (Mac, iPhone, iPad) через фреймворк MLX и на видеокартах NVIDIA через CUDA, с использованием собственных низкобитных вычислительных ядер PrismML, написанных под гибридную архитектуру внимания модели. Вместе с релизом компания открыла бесплатный предварительный доступ к API для разработчиков на ограниченное время; полное описание методики сжатия, оценки и бенчмарков, в техническом отчёте (whitepaper) компании.

Ключевые факты

• Bonsai 27B, сжатая версия модели Qwen3.6 27B от стартапа PrismML: варианты Ternary (5,9 ГБ, для ноутбуков, полный набор возможностей) и 1-bit (3,9 ГБ), последний впервые укладывается в бюджет памяти iPhone 17 Pro.
• По заявлению PrismML, возможности уровня 27B теперь умещаются в объём памяти меньший, чем у полноточной модели на 2 млрд параметров; на 15 бенчмарках Ternary-версия сохраняет 95% качества полноточной модели, 1-bit, 90%.
• Скорость, до 163 ток/с (1-bit) и 134 ток/с (Ternary) на NVIDIA RTX 5090, до 87 и 58 ток/с на чипе Apple M5 Max; контекст 262 тысячи токенов, поддержка спекулятивного декодирования.
• Модель полностью мультимодальна (зрение, в компактном 4-битном виде), веса открыты под лицензией Apache 2.0, доступен бесплатный предварительный доступ к API для разработчиков.
• PrismML, стартап выпускников Калтеха при поддержке Khosla Ventures, Cerberus, Google и Samsung; ставка компании, что локальные агенты на устройстве обнулят стоимость длинных цепочек шагов и оставят данные пользователя на месте.

Почему это важно

По аргументу PrismML, самая ценная ИИ-работа смещается от разовых ответов к длинным агентным цепочкам из сотен вызовов модели подряд. При работе только через облако каждый такой шаг, это сетевой запрос: расходы на токены копятся с каждой итерацией, а через сеть проходят план, вызовы инструментов и приватные данные пользователя. Модель, которая одновременно достаточно способна для агентной работы и достаточно компактна, чтобы жить на телефоне или ноутбуке, меняет расклад: предельная стоимость стошагового цикла становится нулевой, а данные не покидают устройство. Это открывает постоянно работающих локальных агентов, офлайн-ассистентов и гибридные системы, где локальная модель берёт на себя рутинные и приватные задачи, а облачная, только самые сложные шаги.

Кому это важно

В первую очередь, разработчикам мобильных и десктопных приложений с ИИ-агентами, которым нужно на порядок снизить стоимость длинных агентных цепочек или убрать облачную задержку. Во вторую, продуктам и компаниям, для которых критична приватность: данные пользователя (файлы, экран, документы) не должны покидать устройство. Отдельно, владельцам iPhone 17 Pro и современных Mac (запуск через MLX) и владельцам видеокарт NVIDIA (запуск через CUDA), а также командам, которые проектируют гибридные системы «локальная модель плюс облачная модель для сложных задач».

Как это применить

Веса Bonsai 27B, обеих версий, уже сегодня доступны под лицензией Apache 2.0: их можно скачать и развернуть локально. На устройствах Apple (Mac, iPhone, iPad) модель работает через фреймворк MLX, на видеокартах NVIDIA, через CUDA с низкобитными вычислительными ядрами PrismML. Выбор варианта зависит от задачи: Ternary Bonsai 27B (5,9 ГБ), когда важнее качество и есть ресурсы ноутбука или настольной машины; 1-bit Bonsai 27B (3,9 ГБ), когда нужно уложиться в память смартфона. Для быстрой пробы без локального развёртывания PrismML открыла бесплатный, ограниченный по времени доступ к API для разработчиков.

Можно ли доверять

Все цифры, из собственного анонса и технического отчёта (whitepaper) PrismML: 15-бенчмарочный набор, метрика «плотности интеллекта» и цифры по скорости, это результаты самой компании, независимой проверки в тексте нет. Сравнение с «наиболее агрессивной обычной низкобитной сборкой» той же базовой модели не называет конкретного конкурента или точных чисел, сравнение общее, а не выверяемая цифра. При этом за компанией стоит трек-рекорд предыдущих релизов линейки Bonsai (включая более раннюю 1-битную модель на 8 миллиардов параметров, на которую PrismML прямо ссылается) и известные инвесторы, Khosla Ventures, Cerberus, Google и Samsung.

Риски и подводные камни

Сжатие до 1, 2 бит на вес, это компромисс, а не бесплатный обед: 1-bit-версия сохраняет только 90% качества полноточной модели, и хотя на выбранных PrismML бенчмарках просадка невелика, она есть и может проявиться сильнее на задачах, не входящих в тестовый набор. Реальная производительность на конкретном телефоне будет ниже заявленной «с запасом»: доступная приложению память делится с KV-кэшем и активациями, и в самом анонсе признаётся, что даже на 12-гигабайтном iPhone под модель реально достаётся около 6 ГБ. Наконец, сама возможность запускать агента с доступом к инструментам и личным данным прямо на устройстве, это не автоматическая безопасность: вопросы разрешений, песочницы и контроля над тем, что именно делает агент, в анонсе не затрагиваются вовсе.

«Первые компьютеры заполняли собой целые комнаты, сегодня они умещаются у нас в кармане. Тот же путь проходит и интеллект, и Bonsai 27B, самый большой его шаг на сегодняшний день.»

— PrismML, анонс Bonsai 27B