Nvidia лицензирует NVLink Fusion и NVHBM для чужих ИИ-чипов

Рост заказных ИИ-чипов (ASIC/XPU) от OpenAI, Meta, Microsoft и других заставил многих усомниться в господстве Nvidia на рынке ускорителей: если каждый делает свой чип, зачем ему GPU Nvidia? Но Nvidia не встревожена, вместо борьбы с конкурентами она приглашает их лицензировать собственные разработки в области сетевых технологий.

В понедельник MediaTek стала последней компанией, принявшей высокоскоростную технологию соединения NVLink Fusion для своей будущей линейки дата-центровых XPU. Взамен Nvidia вложила $3,5 млрд в конвертируемые облигации, выпущенные MediaTek, и продолжит лицензировать у тайваньской компании её собственные разработки для будущих систем DGX и RTX Spark. MediaTek известна прежде всего чипами на архитектуре Arm для смартфонов и планшетов. В том же списке лицензиатов, Amazon, Fujitsu, Qualcomm, Arm и Marvell.

NVLink Fusion выросла из коммерческой версии внутренней технологии соединения GPU Nvidia, представленной в начале прошлого года: сначала это были два варианта, chip-to-chip (C2C) для когерентного объединения CPU и GPU/XPU в общую память, и коммутируемая сеть (switched fabric) для сборки нескольких ускорителей в единый логический стоечный чип. С тех пор предложение расширилось до общего механизма, которым Nvidia лицензирует свою полупроводниковую интеллектуальную собственность.

Поскольку стоечные конструкции Nvidia MGX входят в Open Compute Project, партнёры вроде MediaTek получают не только сетевую технологию для масштабирования, но и возможность вставлять собственные вычислительные платы в готовые стойки NVL72, это должно резко сократить объём инженерной работы по проектированию систем, необходимой, чтобы довести чип до стойки. Пример уже не гипотетический: Amazon использовала референсный дизайн Nvidia MGX NVL72 для стоечных систем на базе своих чипов Trainium3, а ожидаемый в конце этого года Trainium4 откажется от собственной технологии соединения NeuronLink в пользу NVLink Fusion.

Выгода Nvidia не сводится к лицензионным платежам, это ещё и способ удержать партнёров на своих остальных продуктах. По изначальной модели NVLink Fusion Nvidia могла продавать партнёрам примерно два GPU на каждый их CPU, один CPU Grace или Vera на каждые два партнёрских XPU и до девяти коммутаторов NVSwitch на каждые примерно 72 ускорителя (то есть на стойку). Сейчас Nvidia смягчила эту позицию и удовлетворилась сочетанием продаж NVSwitch и лицензирования NVLink Fusion, иначе Amazon не смогла бы сочетать свои CPU Graviton с чипами Trainium.

Старший директор Nvidia по HPC и AI-инфраструктуре гипермасштабируемых дата-центров Дион Харрис заявил журналистам в понедельник, что платформа даёт клиентам гибкость выбирать любую комбинацию, от CPU и GPU до сетей масштабирования на базе Spectrum-X и InfiniBand и DPU для управления хранилищем и изоляции, и что лицензионные элементы в соглашениях точно будут, поскольку NVLink Fusion остаётся технологией Nvidia. Квартальная выручка Nvidia от сетевых продуктов уже превышает $15 млрд, и лицензии NVLink Fusion вместе с продажами NVSwitch должны её нарастить.

На сетях амбиции Nvidia не заканчиваются: на прошлой неделе компания представила NVHBM, новую IP-разработку с кастомной базовой матрицей и встроенным контроллером памяти для HBM. По данным Nvidia, такой подход освобождает 25% площади кристалла под вычисления, снижает энергопотребление HBM на 15% и повышает эффективную пропускную способность на 30%. По данным издания, одним из первых NVHBM применит подразделение Amazon Annapurna Labs в чипах семейства Trainium. При этом сама идея кастомной базовой матрицы не уникальна для Nvidia, по данным издания, аналогичные разработки ведут Broadcom и Marvell.

В перспективе нынешние партнёры Nvidia по лицензированию, Broadcom, Marvell и MediaTek, вполне могут стать её прямыми конкурентами в разработке XPU: сети и стоечное проектирование, а не сами чипы, остаются главным конкурентным преимуществом Nvidia, поэтому даже компании с собственными Ethernet-коммутаторами уровня NVSwitch выигрывают от возможности встроить свои платы в готовую стойку NVL72 «из коробки».

Ключевые факты

MediaTek подключила свои будущие дата-центровые XPU к технологии соединения Nvidia NVLink Fusion; Nvidia взамен вложила $3,5 млрд в конвертируемые облигации MediaTek и продолжит лицензировать разработки MediaTek для систем DGX и RTX Spark
В списке компаний, лицензирующих NVLink Fusion, также Amazon, Fujitsu, Qualcomm, Arm и Marvell; Trainium4 от Amazon (ожидается в конце года) заменит собственную технологию соединения NeuronLink на NVLink Fusion
Партнёры могут вставлять свои вычислительные платы в готовые стойки Nvidia MGX NVL72 (часть Open Compute Project), что резко упрощает проектирование систем
Nvidia представила новую лицензируемую IP-разработку NVHBM, кастомную базовую матрицу памяти, которая, по её данным, освобождает 25% площади кристалла под вычисления, снижает энергопотребление HBM на 15% и повышает пропускную способность на 30%; по данным издания, одним из первых её применит Amazon Annapurna Labs в чипах Trainium
Квартальная сетевая выручка Nvidia уже превышает $15 млрд; Broadcom и Marvell разрабатывают собственные аналоги базовой матрицы NVHBM

Почему это важно

Рост заказных ИИ-чипов от OpenAI, Meta, Microsoft и других выглядел как угроза бизнесу Nvidia на GPU. Nvidia превращает эту угрозу в новый источник дохода: лицензирует конкурентам собственную технологию соединения NVLink Fusion, а теперь и разработку NVHBM для памяти. Даже если рынок ускорителей раздробится на десятки заказных чипов, Nvidia остаётся тем, через кого эти чипы соединяются в масштабируемые системы, и получает свою долю с каждого такого чипа.

Кому это важно

Разработчикам заказных ИИ-чипов, MediaTek, Amazon, Qualcomm, Fujitsu, Arm, Marvell, которым лицензия избавляет от необходимости с нуля создавать альтернативу NVLink. Конкурентам Nvidia на рынке сетевых решений, прежде всего Broadcom, которому потребовалось много времени на создание альтернатив NVLink. Гипермасштабируемым облачным провайдерам, планирующим стоечные системы на базе чужих XPU. И инвесторам, следящим за тем, как Nvidia диверсифицирует выручку за пределы прямых продаж GPU.

Как это применить

NVLink Fusion существует в двух вариантах: chip-to-chip для когерентного объединения CPU и XPU в общую память и коммутируемая сеть для сборки нескольких ускорителей в один логический стоечный чип. Поскольку стоечные конструкции Nvidia MGX (включая NVL72) входят в Open Compute Project, лицензиат может вставить собственную вычислительную плату в готовую стойку почти без переделки механики и электроники, так уже поступила Amazon со своими чипами Trainium3, а Trainium4 в конце года перейдёт с внутренней технологии NeuronLink на NVLink Fusion. Отдельно можно лицензировать NVHBM, кастомную базовую матрицу с контроллером памяти для HBM, которую, по данным издания, одной из первых применит Amazon Annapurna Labs.

Можно ли доверять

Материал The Register построен на аналитике издания и цитатах Диона Харриса, старшего директора Nvidia, данных журналистам напрямую, это не сатирическая рубрика издания, а обычный отраслевой разбор. При этом Nvidia пока не раскрывает структуру и стоимость лицензирования NVLink Fusion отдельно от инвестиции в MediaTek, не называет сроки выхода дата-центровых XPU MediaTek и коммерческой доступности NVHBM, а также не сообщает, какая доля из $15+ млрд квартальной сетевой выручки приходится на лицензии NVLink Fusion, а какая, на продажи оборудования вроде NVSwitch.

Риски и подводные камни

Партнёры Nvidia по лицензированию, Broadcom, Marvell и MediaTek, по мере роста собственных линеек XPU вполне могут превратиться из клиентов в прямых конкурентов Nvidia на этом рынке, то есть отношения могут стать «дружбой-соперничеством». Технологическое преимущество Nvidia в области базовых матриц памяти тоже не гарантировано надолго: по данным издания, Broadcom и Marvell уже разрабатывают собственные аналоги NVHBM. Наконец, зависимость от лицензии NVLink Fusion и стоечных конструкций MGX означает, что даже «независимые» заказные чипы конкурентов остаются завязаны на инфраструктурные решения Nvidia.

«Можно смело исходить из того, что в лицензировании будут определённые платные условия, ведь NVLink Fusion остаётся технологией Nvidia.»

— Дион Харрис, старший директор Nvidia по HPC и AI-инфраструктуре гипермасштабируемых дата-центров

Компания Meta Platforms признана экстремистской организацией, её деятельность на территории РФ запрещена.