Технический отчёт о Gemma 4, новом поколении открытых мультимодальных моделей

Команда Gemma представила технический отчёт по Gemma 4, новому поколению открытых («open-weight», то есть с публично доступными весами) моделей семейства Gemma, изначально спроектированных мультимодальными: работающими с текстом, изображениями и звуком. Главные заявленные цели разработки, повысить эффективность по вычислениям и качество рассуждений модели.

Линейка Gemma 4 включает как плотные (dense) модели, так и модели со смешением экспертов (Mixture-of-Experts, MoE), с числом параметров от 2,3 до 31 миллиарда, варианты для разных задач, от компактных до более мощных. Для всех размеров улучшены визуальный и аудиоэнкодеры, компоненты, которые превращают изображения и звук в форму, понятную языковой модели.

Отдельно выделяется версия на 12 миллиардов параметров: для неё авторы предложили единую архитектуру без отдельных энкодеров (encoder-free), модель напрямую обрабатывает необработанные фрагменты (патчи) звука и изображений, минуя отдельные модули предобработки под каждую модальность.

Ещё одно нововведение, режим размышления (thinking mode): перед тем как выдать ответ, модель формирует цепочку промежуточных рассуждений. Такой механизм обычно применяется в моделях, ориентированных на решение задач, которые требуют пошаговой логики.

По словам авторов, за счёт ряда архитектурных решений выросла скорость вывода (инференса), снизилось потребление памяти, повысилась вычислительная эффективность и способность работать с длинным контекстом, при этом отчёт не детализирует, какие именно решения дали наибольший эффект. На бенчмарках по STEM-дисциплинам (точные и естественные науки, инженерия, математика), мультимодальным задачам и длинному контексту Gemma 4, по заявлению разработчиков, показывает скачок в производительности и не уступает более крупным передовым открытым моделям в задачах, которые оценивают люди.

Ключевые факты

Gemma 4, новое поколение открытых мультимодальных моделей семейства Gemma: линейка от 2,3 до 31 млрд параметров, включает плотные (dense) и MoE-архитектуры.
Для всех размеров модели улучшены визуальные и аудиоэнкодеры.
Версия на 12B получила единую безэнкодерную архитектуру, модель напрямую обрабатывает необработанные аудио- и изображенческие данные без отдельных модулей-энкодеров.
Добавлен режим размышления: модель формирует цепочку рассуждений перед тем как ответить.
Авторы заявляют скачок в производительности на бенчмарках STEM, мультимодальности и длинного контекста, а также паритет с более крупными открытыми моделями при оценке людьми.

Почему это важно

Gemma 4 продолжает тренд на то, чтобы делать мощные мультимодальные и «размышляющие» модели доступными в открытом виде, а не только в закрытых API крупных провайдеров. Особенно заметны два архитектурных решения: безэнкодерная обработка аудио и изображений для версии на 12 миллиардов параметров (модель работает напрямую с необработанными фрагментами звука и изображений, без отдельных модулей-конвертеров под каждую модальность) и режим размышления, добавляющий модели способность рассуждать по шагам перед ответом, раньше такая возможность чаще ассоциировалась с более крупными закрытыми моделями. При этом авторы заявляют, что Gemma 4 не уступает более крупным открытым моделям в оценке людьми, то есть выигрыш не только в бенчмарках, но и в восприятии качества ответов.

Кому это важно

В первую очередь, разработчикам и исследователям, которые строят продукты поверх открытых моделей: диапазон от 2,3 до 31 миллиарда параметров позволяет выбрать вариант под конкретные вычислительные ограничения, от лёгких сценариев до более требовательных задач. Важен релиз и тем, кто работает с мультимодальными сценариями, одновременно с аудио, изображениями и текстом, и хочет обойтись без отдельной инфраструктуры энкодеров под каждую модальность. Кроме того, отчёт интересен исследователям архитектур языковых моделей как пример безэнкодерного подхода и встроенного режима размышления в открытой модели.

Как это применить

Отчёт не приводит цены или условия лицензии, но модели описаны как открытые по весам (open-weight), то есть предполагается публикация весов для скачивания, локального запуска и дообучения. Разброс размеров (от 2,3 до 31 миллиарда параметров) и наличие варианта со смешением экспертов (Mixture-of-Experts, MoE) позволяют подобрать модель под доступные вычислительные ресурсы, от лёгких локальных сценариев до более тяжёлых нагрузок. Для задач, где нужно одновременно обрабатывать звук и изображения, стоит обратить внимание на версию на 12 миллиардов параметров с безэнкодерной архитектурой, она может упростить конвейер обработки, убрав отдельные модули под каждую модальность. Для задач, которые требуют пошаговой логики, математика, код, многошаговые рассуждения, имеет смысл использовать режим размышления.

Можно ли доверять

Источник, первичный технический отчёт от самой команды Gemma, опубликованный на Hugging Face Papers, то есть это не пересказ третьих лиц, а исходное заявление разработчиков. Вместе с тем формулировки о «скачке в производительности» и паритете с более крупными моделями, это самооценка авторов; доступный текст отчёта не приводит конкретных числовых показателей бенчмарков или методологии сравнения, поэтому масштаб улучшений по этому тексту независимо не проверить. На момент публикации материал набрал 34 балла и 4 комментария на Hugging Face, независимой оценки сообщества пока немного.

Риски и подводные камни

В доступном тексте отчёта нет данных об обучающих датасетах, тестах безопасности, ограничениях по контенту или возможных злоупотреблениях моделью, эти вопросы остаются открытыми для тех, кто планирует внедрение. Не раскрыты и конкретные архитектурные решения, которые, по словам авторов, дали прирост в скорости вывода и эффективности, без деталей сложно оценить, какие компромиссы за этим стоят. Формулировка о том, что модель не уступает более крупным открытым моделям, качественная, а не количественная: неясно, о каких именно моделях и с каким отрывом идёт речь. Наконец, безэнкодерная архитектура для версии на 12 миллиардов параметров, новое решение, и в отчёте не обсуждаются её возможные ограничения по сравнению с классическим подходом на основе отдельных энкодеров.

«Gemma 4 совершает скачок в производительности на бенчмарках STEM, мультимодальности и длинного контекста и не уступает более крупным передовым открытым моделям в задачах с оценкой людьми.»

— Gemma Team, технический отчёт Gemma 4