Nvidia выпустила Nemotron 3.5 Super VL: открытую модель на 120 млрд параметров для корпоративных агентов

Nvidia выпустила Nemotron 3.5 Super VL, открытую мультимодальную модель со 120 млрд параметров, созданную для корпоративных агентов, которые работают непрерывно в фоне и обрабатывают текст, изображения, документы и видео. Архитектура, Mixture-of-Experts (смесь экспертов): на каждый токен задействовано только 12 млрд из 120 млрд параметров. Модель разработана вместе с Nemotron Coalition, группой, в которую входят Mistral AI, Thinking Machines Lab, Perplexity и Black Forest Labs.

Одновременно вышли две компактные модели для локальных машин. Nemotron 3.5 Bolt 74B-A9B 24GB выполняет агентные задачи на локальном оборудовании: из 74 млрд параметров на шаг активны 9 млрд, а чтобы уложить модель в 24 ГБ памяти, веса сжаты до 2 бит. Меньшая Bolt E4B 4GB для голосовых ассистентов, интерактивных персонажей и интерфейсов устройств пока не вышла и должна появиться позже в этом месяце. Обе модели, как заявляет Nvidia, дают «наивысший интеллект на гигабайт памяти». Они пополняют существующую линейку Nemotron: Lightning (вышла в августе) рассчитана на высокую пропускную способность, Ultra, на сложные задачи рассуждения.

Super VL получена дистилляцией из Nemotron 3 Ultra, самой большой модели рассуждений Nvidia. По заявлению компании, в задачах с выполнением инструкций, вызовом инструментов, многошаговыми бизнес-процессами и анализом изображений она должна соответствовать точности Ultra при примерно в пять раз меньшем числе параметров. В агентных тестах Hermes и LangChain, по данным Nvidia, она даже превосходит Ultra, а на программистских бенчмарках SWE-bench и Terminal-Bench опережает предшественницу Nemotron 3 Super. На одном GPU пропускная способность на агентных задачах, до пяти раз выше, чем у открытых моделей схожего размера (Nvidia ссылается на рейтинг Artificial Analysis). В независимом тесте EXO Labs на DGX Spark не нашлось модели, одновременно более точной и более быстрой.

Для эффективности модель сжимается форматом NVFP4 (4 бита): на GPU Blackwell она работает целиком в 4-битной точности, на старых картах в 4 бита сжаты только веса, а вычисления идут в 16 бит. Встроенный черновой компонент предлагает несколько токенов наперёд, которые основная модель проверяет за один проход; на DGX Spark Nvidia рекомендует свой метод LiLiCorr, ускоряющий генерацию текста до 2,3 раза по сравнению с работой без черновиков. Поскольку агенты с каждым запросом шлют одни и те же инструкции, описания инструментов и историю диалога, модель кэширует вычисления для повторяющихся частей, а ПО Dynamo направляет запросы одной сессии на GPU с её кэшем. На 16 GPU B200 это даёт обслуживание в восемь раз большего числа одновременных пользователей и снижение времени до первого токена на 85%.

В зрении упор сделан на материалы повседневной работы агентов: OCR, таблицы, графики, многостраничные документы, видео. Модель может разобрать график, связать его с таблицей в другом месте документа и резюмировать оба без отдельной модели для изображений. На бенчмарке графиков CharXiv Super VL набирает 80,8% (по данным Nvidia) против 63% у прежней Nemotron 3 Nano Omni; с возможностью запускать код на Python, 84%. В рейтинге OCRBench v2, как утверждает Nvidia, она среди лучших открытых моделей.

Nvidia предлагает Super VL компаниям, которые хотят дообучать модель на своих данных и запускать на своих серверах, не завися от условий провайдера. Вот примеры из материала: страховщик, постоянно проверяющий заявления на мошенничество, или финансовая фирма, оценивающая кредитоспособность по собственным критериям. Для настройки компания даёт фреймворк NeMo, Python-конвейеры и открытые наборы данных. По словам Nvidia, десятки организаций уже дообучают Super VL, в основном в отраслях с большим объёмом документов и чувствительными данными. Scale AI адаптировала модель для агента, обрабатывающего кредиты поставщиков в медиакомпании Skydance (ожидается снижение стоимости до одной сороковой и времени ответа до одной пятой); Ramp превращает фото чеков в структурированные данные и ждёт ответов в десять раз быстрее; EY применяет её при проверке сделок поглощения, Hebbia, для анализа кредитных соглашений. AI21 дообучила Super VL для охранной фирмы Alice, где точность выросла на 40% по данным Nvidia; Dream ищет уязвимости, CrowdStrike создаёт агентов для защиты корпоративных сетей, Salesforce планирует автоматизировать государственные процессы, R1 проверяет медицинские счета, модель также используют Perplexity, Dassault Systèmes и Mercor.

Отдельный акцент, открытость. Веса выпускаются в базовой, пост-обученной и 4-битной сжатой версиях вместе с наборами данных, рецептами обучения и средами обучения с подкреплением. По тексту, это открытее многих моделей с открытыми весами, где публикуют только веса. Модель обучена на более чем 25 трлн токенов (предобучение и продолженное предобучение), пост-обучение и обучение с подкреплением добавили около четырёх млн примеров примерно в 100 открытых средах. На Hugging Face опубликованы и наборы данных по использованию инструментов, следованию инструкциям, длинным текстам, пониманию изображений, а также по финансам, безопасности и справедливости. Один из наборов, тексты на 22 индийских языках объёмом около 2,83 трлн токенов, созданный с Индийским технологическим институтом Мадраса и его ИИ-лабораторией AI4Bharat.

Модель доступна через Nvidia NIM как готовый микросервис с проверенными конфигурациями и поддержкой, обновления запланированы раз в две недели. Веса Nemotron 3.5 Super VL 120B-A12B и Nemotron 3.5 Bolt 74B-A9B 24GB лежат на Hugging Face. Автор материала в The Decoder считает стратегию Nvidia корыстной: чем больше компаний запускают собственные открытые модели, тем выше спрос на вычислительное оборудование, а открытые модели, вероятно, надолго останутся оптимизированными под Nvidia. Он же отмечает, что Nvidia недавно инвестировала $12,9 млрд в Hugging Face.

Ключевые факты

• Nemotron 3.5 Super VL, открытая мультимодальная модель на 120 млрд параметров (12 млрд активных на токен, Mixture-of-Experts), дистиллированная из Nemotron 3 Ultra; по заявлению Nvidia, она сопоставима с Ultra по точности при примерно пятой части параметров.
• Вместе вышла Bolt 74B-A9B 24GB (9 млрд активных из 74 млрд, 2-битное сжатие, нужно от 24 ГБ памяти); Bolt E4B 4GB для голосовых ассистентов обещана позже в этом месяце.
• Заявленные Nvidia цифры: до пяти раз выше пропускная способность на одном GPU, 80,8% на CharXiv (84% с запуском Python), до 2,3 раза быстрее генерация с LiLiCorr на DGX Spark; независимо проверено лишь тестом EXO Labs.
• Вместе с весами публикуются наборы данных, рецепты обучения и среды обучения с подкреплением; более 25 трлн токенов предобучения, набор на 22 индийских языках, около 2,83 трлн токенов.
• Все варианты оптимизированы под оборудование Nvidia; автор The Decoder называет стратегию открытых моделей корыстной, а 24 ГБ памяти для Bolt, высокой планкой для обычных потребителей.

Почему это важно

Nvidia выходит за рамки поставщика чипов и выпускает целую линейку открытых моделей под корпоративных агентов. Нововведение здесь не только сама модель: к весам прилагаются данные, рецепты обучения и среды обучения с подкреплением, чего, по материалу, у многих моделей с открытыми весами нет. Заявка Nvidia, качество уровня своей крупнейшей модели Ultra при заметно меньшем размере и более высокой скорости, что важно для агентов, которые днями и неделями обрабатывают большие потоки задач.

Кому это важно

Компаниям, которые хотят дообучать модель на своих данных и запускать её на своих серверах, не завися от условий провайдера закрытой модели, особенно в отраслях с большим объёмом документов и чувствительными данными (финансы, страхование, кибербезопасность). Разработчикам и владельцам мощных рабочих станций, из-за Bolt 74B-A9B 24GB. Тем, кто работает с таблицами, графиками, PDF и сканами, из-за зрительных возможностей модели. Исследователям, из-за открытых наборов данных, включая набор на 22 индийских языках.

Как это применить

Веса Nemotron 3.5 Super VL 120B-A12B и Nemotron 3.5 Bolt 74B-A9B 24GB доступны на Hugging Face. Для дообучения Nvidia предлагает фреймворк NeMo, Python-конвейеры и открытые наборы данных. Для промышленного запуска есть микросервис Nvidia NIM с проверенными конфигурациями и поддержкой (обновления раз в две недели). Bolt поддерживает llama.cpp, Ollama, LM Studio и vLLM и оптимизирована под RTX Spark и DGX Spark, а также работает на GeForce RTX, DGX Station и RTX PRO. Цена и название лицензии для весов в материале не указаны.

Можно ли доверять

Материал опирается на технический блог Nvidia, и почти все цифры о точности, скорости, ускорениях и экономии заказчиков, заявления самой компании. Из независимых подтверждений упомянуты только тест EXO Labs на DGX Spark и ссылка Nvidia на рейтинг Artificial Analysis. Цифры по Skydance и Ramp, ожидания, а не измеренные результаты. Числовые результаты на SWE-bench и Terminal-Bench в материале не приводятся, как и сравнение качества 2-битной Bolt с несжатой версией.

Риски и подводные камни

Все варианты Nemotron оптимизированы под оборудование Nvidia, так что максимум пользы получают владельцы её GPU; автор The Decoder называет эту стратегию корыстной и ждёт, что открытые модели надолго останутся заточенными под Nvidia. Даже при сильном сжатии 24 ГБ памяти, высокая планка: такой объём есть только у дорогого оборудования, и локальный агент пока рассчитан на разработчиков и владельцев мощных станций. Bolt E4B 4GB для слабых устройств ещё не выпущена. Качество 2-битного сжатия в материале не оценено.

«Обе модели предлагают «наивысший интеллект на гигабайт памяти».»

— Nvidia о моделях Bolt (по материалу The Decoder)