Google выпустила EmbeddingGemma 2: открытую мультимодальную модель эмбеддингов на 740 млн параметров

Google запустила EmbeddingGemma 2, открытую модель эмбеддингов (числовых векторных представлений данных для поиска и сопоставления) на архитектуре Gemma 4. Модель выпущена под коммерчески разрешающей лицензией Apache 2.0, в ней 740 миллионов параметров, и компания называет её оптимальной для работы на устройстве. Прошлогодняя EmbeddingGemma работала только с текстом и, по словам авторов анонса, набрала более 20 миллионов загрузок: на ней строили поиск на устройстве и RAG-конвейеры (генерация с дополнением результатами поиска), где данные остаются у пользователя.

Главное отличие новой версии, одно пространство эмбеддингов для текста, кода, изображений, видео и аудио, причём всё обрабатывает одна нативно мультимодальная модель. В анонсе приведены примеры: найти нужный видеоролик по голосовой заметке или искать по часам аудиозаписей с помощью текстового запроса. Модель создана на той же технологии, что и модели Gemini Embedding.

Заявленные характеристики. Модульность: для работы только с текстом нужно от 270 млн параметров, а для полной мультимодальности добавляются необязательные энкодеры, визуальный на 170 млн и аудио на 300 млн параметров. Экономия места: с помощью Matryoshka Representation Learning (MRL) выходные векторы можно обрезать с 768 до 512, 256 или 128 измерений, что даёт до 6-кратной экономии хранилища для локальных векторных баз и памяти. Работа на устройстве: с квантованием на Google Pixel 11 Pro модели требуется не менее ~191 МБ активной оперативной памяти для текстовых весов и ~567 МБ для полной мультимодальной модели. Контекст: окно в 8 тысяч токенов (в 4 раза больше, чем у EmbeddingGemma 1), в него помещаются до 5,5 минуты аудио, 29 изображений, 58 кадров видео или их чередующиеся комбинации.

Качество. По данным Google, модель показывает лидирующие результаты среди мультимодальных моделей эмбеддингов до 1 млрд параметров на бенчмарках вроде MTEB Code и MAEB (Massive Audio Embedding Benchmark), а на задачах с текстом, изображениями и аудио сопоставима с многими более крупными моделями или превосходит их. Многоязычное качество текста на уровне EmbeddingGemma, а на MTEB Code результат вырос на 9,92 пункта, с 68,76 до 78,68. На изображениях, видео, документах и аудио модель, как утверждается, превосходит часть специализированных моделей, которые более чем вдвое крупнее её. Полные метрики вынесены в карточку модели.

Локальный сценарий. Генерация эмбеддингов на устройстве, по словам компании, помогает сохранить конфиденциальность данных, снижает задержки конвейера и позволяет строить кросс-модальный поиск, работающий полностью офлайн. В паре с генеративной моделью Gemma 4 EmbeddingGemma 2 образует мультимодальный RAG на устройстве; поскольку обе модели используют общий текстовый токенизатор и аудиоэнкодер, их можно запускать в одном конвейере с меньшим суммарным потреблением памяти.

Где взять. Веса доступны на Hugging Face и Kaggle; появление в Model Garden платформы Gemini Enterprise Agent Platform анонсировано как «скоро». Оптимизированные для устройств версии лежат в LiteRT Community на Hugging Face. Для развёртывания указаны Google AI Edge MediaPipe и LiteRT, а для браузера, transformers.js и WebGPU. Модель можно запускать через transformers, sentence-transformers, MLX, vLLM, llama.cpp, SGLang, Ollama и LMStudio; для хранения векторов упомянут Qdrant, для дообучения, руководство Unsloth.

Ключевые факты

EmbeddingGemma 2, открытая модель эмбеддингов на 740 млн параметров, архитектура Gemma 4, лицензия Apache 2.0; объединяет текст, код, изображения, видео и аудио в одном пространстве.
Модульная конфигурация: от 270 млн параметров для текста, плюс необязательные энкодеры, визуальный на 170 млн и аудио на 300 млн.
Векторы можно обрезать с 768 до 512, 256 или 128 измерений (до 6-кратной экономии хранилища); на Google Pixel 11 Pro с квантованием нужно ~191 МБ (текст) или ~567 МБ (полная модель) оперативной памяти.
Контекст 8 тыс. токенов (в 4 раза больше, чем у EmbeddingGemma 1): до 5,5 минуты аудио, 29 изображений или 58 кадров видео.
MTEB Code вырос с 68,76 до 78,68 (+9,92 пункта); все сравнения с более крупными моделями приведены самой компанией.

Почему это важно

Первая EmbeddingGemma умела только искать по тексту. EmbeddingGemma 2 переносит ту же идею «лёгкой модели для устройства» на пять типов данных сразу: текст, код, изображения, видео и аудио живут в одном пространстве эмбеддингов. Это значит, что запрос в одной модальности может находить материалы в другой, например, ролик по голосовой заметке или фрагмент аудиозаписи по текстовому запросу, и всё это на потребительском оборудовании. Для кода заявлен заметный прирост: на MTEB Code результат вырос с 68,76 до 78,68. Открытые веса под Apache 2.0 делают модель доступной для коммерческих продуктов.

Кому это важно

Разработчикам приложений с поиском и RAG на устройстве и в браузере, командам, которым важна конфиденциальность и офлайн-работа, а также тем, кто строит локальную индексацию кодовых баз, семантический поиск по коду и извлечение данных для кодинговых агентов, для этих сценариев модель прямо рекомендована в анонсе. Интересна она и тем, кто хранит большие коллекции аудио, видео и изображений и хочет искать по ним без отправки данных во внешний сервис.

Как это применить

Веса выложены на Hugging Face и Kaggle; лицензия Apache 2.0, цены и размещённого API в анонсе не названы. Для текста достаточно базовой конфигурации на 270 млн параметров, визуальный (170 млн) и аудиоэнкодер (300 млн) подключаются по необходимости. Размер векторов можно уменьшить с 768 до 512, 256 или 128 измерений, если важна экономия места в локальной векторной базе. Запускать можно через transformers, sentence-transformers, MLX, vLLM, llama.cpp, SGLang, Ollama и LMStudio, на устройствах, через MediaPipe и LiteRT, в браузере, через transformers.js или WebGPU. Для дообучения упомянуто руководство Unsloth, для хранения векторов, Qdrant. Если вы уже используете Gemma 4, обе модели можно запускать в одном конвейере с общим токенизатором и аудиоэнкодером.

Можно ли доверять

Источник, собственный анонс разработчика, а не независимая проверка. Утверждения о лидерстве среди мультимодальных моделей до 1 млрд параметров и о превосходстве над частью специализированных моделей вдвое крупнее приведены самой компанией; в тексте названа только одна числовая оценка, MTEB Code (68,76 → 78,68). Результаты MAEB и по изображениям, видео, документам и аудио в тексте не указаны, а сравниваемые «более крупные» и «специализированные» модели не названы. Полные метрики отсылают к карточке модели.

Риски и подводные камни

Показатели памяти (~191 МБ и ~567 МБ) относятся к конкретному устройству, Google Pixel 11 Pro, и к работе с квантованием; схема квантования не уточнена. Экономия хранилища указана как «до 6 раз», и в тексте нет данных о том, как обрезка векторов влияет на качество. Окно в 8 тысяч токенов ограничивает длину входа: до 5,5 минуты аудио, 29 изображений или 58 кадров видео. Данных о задержках, пропускной способности и энергопотреблении нет, а доступность в Model Garden пока только анонсирована. Перед внедрением стоит проверить качество на собственных данных.

«Генерация эмбеддингов локально помогает обеспечить конфиденциальность данных, снижает задержки конвейера и позволяет разработчикам создавать кросс-модальный поиск и извлечение данных, которые работают полностью офлайн.»

— из анонса EmbeddingGemma 2