Thinking Machines выпустила Inkling, мультимодальную модель на 1 трлн параметров

Компания Thinking Machines выпустила на Hugging Face модель Inkling, большую мультимодальную языковую модель (LLM), которая нативно принимает текст, изображения и аудио и работает с контекстным окном в 1 млн токенов. По заявлению авторов, это первая крупная открытая модель такого масштаба (около 1 трлн параметров) с окном в 1 млн токенов, изначально спроектированная под три модальности сразу. Модель обучена на 45 трлн токенов текста, изображений, аудио и видео и ориентирована на рассуждения на стыке модальностей, а также на дообучение (fine-tuning) под конкретные домены.

Inkling, decoder-only модель типа Mixture-of-Experts (MoE): 975 млрд параметров всего, но одновременно активны только 41 млрд благодаря разреженным сетям, на каждый токен маршрутизатор выбирает 6 из 256 экспертов плюс 2 «общих» эксперта, которые активны всегда. Вместо стандартного RoPE модель использует относительное внимание: отдельная проекция считает признак, зависящий от расстояния между токенами, и добавляет его прямо в логиты внимания. Слои декодера чередуют полное внимание (по всему контексту) и внимание со скользящим окном в пропорции 5:1, а последний слой всегда работает с полным вниманием, так авторы экономят вычисления, не теряя качество представлений. Дополнительно используется короткая одномерная свёртка (SConv) по соседним скрытым состояниям, она берёт на себя локальный контекст, разгружая attention- и MoE-блоки. Для ускорения генерации в модель встроены спекулятивные MTP-слои (multi-token prediction).

За обработку изображений отвечает простой иерархический MLP-модуль (патчификатор), который постепенно укрупняет пиксели до одного эмбеддинга на патч; изображения дополнительно несут временное измерение для будущей работы с видео, хотя авторы прямо говорят, что качество на видео пока не оценивали. Звук обрабатывается через дискретизированную мел-спектрограмму: каждый 100-миллисекундный фрагмент аудио переводится в мел-шкалу и классифицируется в конкретный мел-бин, после чего эмбеддинги суммируются.

Модель доступна в двух вариантах: полный BF16 (требует около 2 ТБ видеопамяти) и калиброванный NVFP4 (около 600 ГБ, для GPU архитектуры Blackwell). Заявлена поддержка «с первого дня» в библиотеке transformers (вышла версия 5.14.0), а также в инференс-движках SGLang и vLLM, оба позволяют развернуть модель на нескольких GPU с тензорным параллелизмом и поднять OpenAI-совместимый API. Для запуска на ограниченном железе есть квантованные GGUF-версии для llama.cpp, подготовленные командой Unsloth. Модель также доступна через сервис Hugging Face Inference Providers, где по стандарту OpenAI API к ней можно обращаться удалённо; в первые два часа после релиза инференс для всех был бесплатным. Поддержка аудио в Inference Providers на момент публикации ещё дорабатывалась.

Ключевые факты

Inkling, MoE-модель: 975 млрд параметров всего, активны 41 млрд за раз (top-6 из 256 экспертов плюс 2 общих эксперта, активных всегда).
Контекст, 1 млн токенов; модель обучена на 45 трлн токенов текста, изображений, аудио и видео и нативно понимает все три модальности без отдельных энкодеров.
Архитектурные особенности: относительное внимание вместо RoPE, гибридное внимание (соотношение 5:1 между скользящим окном и полным вниманием), короткая 1D-свёртка (SConv), спекулятивные MTP-слои для ускорения генерации.
Доступна в BF16 (нужно около 2 ТБ видеопамяти) и калиброванном варианте NVFP4 (около 600 ГБ); поддержка с первого дня в transformers, SGLang, vLLM и квантованные версии для llama.cpp от Unsloth.
Через Hugging Face Inference Providers первые два часа после релиза инференс был бесплатным для всех; поддержка аудио там на момент выхода ещё дорабатывалась.

Почему это важно

Inkling заявлена как одна из первых крупных ОТКРЫТЫХ мультимодальных моделей такого масштаба, почти триллион параметров и контекст в 1 млн токенов, с нативной, а не «приклеенной» поддержкой текста, изображений и звука. Для открытой экосистемы это редкий случай, когда модель такого размера с продвинутой архитектурой (гибридное внимание, относительное позиционное кодирование, MoE с общими экспертами) выкладывается с весами и днём-0 поддержкой в основных инструментах, а не остаётся закрытым API.

Кому это важно

В первую очередь, исследователям и инженерам, которые строят мультимодальные приложения с рассуждениями (reasoning) над изображениями, аудио и текстом одновременно, и командам, которым нужна база для дообучения (fine-tuning) под свой домен. Также важно для инфраструктурных команд, работающих с vLLM, SGLang и llama.cpp: модель сразу поддерживается в этих инструментах, включая облегчённые квантованные версии для ограниченного железа.

Как это применить

Модель можно запустить через pipeline библиотеки transformers (режим any-to-any) в двух вариантах, полный BF16 или квантованный NVFP4; для продакшн-развёртывания на нескольких GPU подходят SGLang или vLLM с тензорным параллелизмом и OpenAI-совместимым API. Для ограниченного железа есть GGUF-квантование под llama.cpp от команды Unsloth. Без своего оборудования модель доступна через Hugging Face Inference Providers по OpenAI-совместимому API; в первые два часа после релиза инференс был бесплатным для всех.

Можно ли доверять

Источник, официальный блог-пост на Hugging Face с подробным техническим разбором архитектуры и конкретными цифрами (975 млрд/41 млрд параметров, 256 экспертов, 45 трлн токенов обучения), а не маркетинговый анонс без деталей. Заявленная поддержка с первого дня сразу в нескольких независимых инструментах (transformers, SGLang, vLLM, llama.cpp) косвенно подтверждает, что интеграция реально протестирована. При этом в тексте нет независимых бенчмарков качества модели, оценить её реальные способности по сравнению с конкурентами по одному этому посту нельзя.

Риски и подводные камни

Масштаб модели делает её практически недоступной без серьёзной инфраструктуры: полная версия требует около 2 ТБ видеопамяти, а квантованная NVFP4, около 600 ГБ и GPU архитектуры Blackwell, что закрывает доступ большинству независимых разработчиков и небольших команд. Авторы прямо признают, что качество работы с видео не оценивалось, хотя архитектура технически это допускает. Поддержка аудио через Inference Providers на момент релиза ещё дорабатывалась, а бесплатный доступ к инференсу был ограничен двумя часами.