PrismML показала свои компактные языковые модели на смарт-очках с чипом Qualcomm Snapdragon
Лаборатория ИИ PrismML, основанная исследователями из Caltech и консультируемая профессором UC Berkeley Ионом Стойкой, создала версию своих компактных языковых моделей для смарт-очков на чипах Qualcomm Snapdragon. В среду на конференции Qualcomm Snapdragon Summit компания Qualcomm показала, как 1-битная модель Bonsai от PrismML работает локально, прямо на устройстве, на смарт-очках, построенных на платформе Snapdragon AR1 Gen 1.
Как ранее писал TechCrunch, главная особенность подхода PrismML в том, что компания сжимает более крупные модели примерно в 4 раза, сохраняя при этом почти всю их производительность на стандартных бенчмарках. Версия для смарт-очков, это модель с 2 миллиардами параметров, настроенная под работу с изображением и текстом одновременно: она позволяет владельцу очков в реальном времени спрашивать, на что он смотрит.
Более широкая цель PrismML, открытые по весам модели ИИ, которые работают прямо на устройствах и эффективнее используют уже имеющиеся у них вычислительные мощности. Стартап позиционирует это как альтернативу зависимости от обещаний конфиденциальности проприетарных ИИ-лабораторий и их постоянно растущей потребности в вычислительных ресурсах. Выпуск модели под чип Qualcomm, шаг в эту сторону, но конкретных смарт-очков, на которых PrismML уже был бы развёрнут как готовый продукт, пока не анонсировано.
Ключевые факты
- PrismML, лаборатория ИИ, основанная исследователями из Caltech, консультирует её Ион Стойка из UC Berkeley
- На Snapdragon Summit в среду Qualcomm показала 1-битную модель Bonsai от PrismML, работающую локально на смарт-очках на платформе Snapdragon AR1 Gen 1
- Версия для очков, модель на 2 млрд параметров, настроенная для одновременной работы с изображением и языком
- Подход PrismML, сжимать крупные модели примерно в 4 раза, почти не теряя качество на стандартных бенчмарках
- Конкретных смарт-очков с PrismML на борту как готового продукта пока не анонсировано
Почему это важно
Демонстрация показывает, что сильно сжатые (1-битные) языковые модели уже можно запускать прямо на слабом чипе для носимых устройств, без обращения к облаку. Это шаг к тому, чтобы ИИ на смарт-очках работал локально, быстро и без постоянной передачи данных на сервера.
Кому это важно
Производителям умных очков и других носимых AR/ИИ-устройств на чипах Qualcomm, разработчикам компактных open-weight моделей, а также компаниям, которые ищут альтернативу облачным ИИ-сервисам крупных лабораторий из соображений приватности и стоимости вычислений.
Как это применить
Пока это демонстрация технологии на конференции, а не готовый продукт: конкретные смарт-очки с моделью PrismML на борту не анонсированы, нет ни цены, ни сроков выхода. Разработчикам стоит следить за развитием платформы Snapdragon AR1 Gen 1 и открытых весов PrismML как за потенциальной базой для будущих устройств.
Можно ли доверять
Новость подтверждена демонстрацией на официальном мероприятии Qualcomm, Snapdragon Summit, а факты о самой PrismML (основатели из Caltech, консультант Ион Стойка, метод сжатия моделей в 4 раза) со ссылкой на более раннее освещение того же издания. Источник не называет конкретную дату саммита (только день недели) и не указывает, на каких именно бенчмарках измерялось сохранение качества.
Риски и подводные камни
Главный риск, разрыв между эффектной демонстрацией на конференции и реальным продуктом: ни один производитель смарт-очков пока не объявил о выпуске устройства с моделью PrismML. Также неясно, насколько 1-битное сжатие модели скажется на качестве распознавания и ответов в реальных, а не тестовых условиях использования.