Arm представила Mali G2-Ultra NX, первый ИИ-нативный GPU в линейке Mali
Arm представила Mali G2-Ultra NX, свой первый, по собственному определению, «ИИ-нативный» GPU для мобильных устройств. Всего компания поставила более 14 миллиардов GPU семейства Mali, и в новом чипе она встраивает нейронные ускорители прямо в шейдерные ядра, а не добавляет их отдельным блоком: это позволяет ИИ-нагрузкам работать вместе с графикой и вычислениями, используя общую память GPU, когерентные кэши и управляющие структуры, что снижает объём перемещаемых данных и повышает эффективность конвейера в целом.
В основе решения, три нейротехнологии. Neural Super Sampling (NSS) достраивает изображение высокого разрешения из кадра, отрендеренного в низком разрешении, снижая объём обычного рендеринга. Neural Frame Rate Upscaling (NFRU) генерирует промежуточные кадры для повышения частоты кадров и более плавного геймплея. Neural Super Sampling and Denoising (NSSD) сочетает нейронное сверхсэмплирование с шумоподавлением для сложных сцен с трассировкой лучей, сложным освещением и тенями.
Что это даёт на практике, показывает демо Neural Dawn, совместная разработка Arm и Sumo Digital: применение NFRU и NSSD даёт до 4 раз более высокую производительность на единицу энергозатрат и до 70% меньше трафика во внешнюю память по сравнению с обычным рендерингом. По словам Arm, такой выигрыш делает практически применимыми на мобильных устройствах продвинутые техники вроде Unreal Engine MegaLights.
Отдельно от нейроускорения GPU получил новый исполнительный движок, Arm называет это крупнейшим обновлением архитектуры набора команд Mali за семь поколений. Он даёт до 2 раз больше регистров на варп, что позволяет обрабатывать более сложные сцены. В сумме архитектурные улучшения дают до 24% более высокую производительность в бенчмарках и 14% прирост в обычном (не связанном с ИИ) игровом рендеринге по сравнению с предыдущим поколением Mali; в сочетании с NFRU это позволяет поддерживать длительные игровые сессии на частоте до 120 кадров в секунду.
Mali G2-Ultra NX также вводит третье поколение аппаратной трассировки лучей Arm, с более сложным освещением, тенями, отражениями и геометрией. Новая архитектура снижает трафик к оперативной памяти на ведущих бенчмарках трассировки лучей до 13%. Аппаратная поддержка Opacity Micromaps, техники обработки прозрачной геометрии (листва, ткани, слоистые поверхности), в одной из демонстраций Arm подняла частоту кадров на 30% и снизила нагрузку на подсистему трассировки лучей до 70%.
Arm готовила программную экосистему заранее: за два года до выхода Mali G2-Ultra NX компания представила Arm Neural Technology и открытый набор для разработки нейрографики, дав студиям, разработчикам инструментов и производителям игровых движков возможность интегрировать нейротехники до появления самого чипа. Сейчас Arm Neural Graphics Development Kit включает NSS и NFRU, расширения машинного обучения для Vulkan, плагины для игровых движков (включая Unreal Engine), SDK для интеграции с собственными движками, а также инструменты профилирования, оптимизации графики и дообучения моделей.
Первым партнёром выступает студия, работающая над Where Winds Meet: Кели Чжоу (Keli Zhou), ведущий инженер движка этой игры, заявил, что команда интегрирует Arm Neural Technology в движок Messiah и готовит игру стать одной из первых, где технология дойдёт до реальных игроков. Mali G2-Ultra NX также ляжет в основу платформы Arm CSS for Mobile 2, где нейрографика будет сочетаться с оптимизацией вычислений, памяти, программного обеспечения и реализации на уровне всей системы, а не только GPU.
Arm не назвала конкретную дату выхода чипа, цену или условия лицензирования, а также не уточнила, с какой именно предыдущей моделью Mali сравниваются заявленные приросты производительности и какие конкретно устройства или партнёрские чипсеты получат новый GPU.
Ключевые факты
- Arm представила Mali G2-Ultra NX, по её словам, первый «ИИ-нативный» мобильный GPU: нейронные ускорители встроены прямо в шейдерные ядра, а не добавлены отдельным блоком
- Три нейротехнологии, Neural Super Sampling (NSS), Neural Frame Rate Upscaling (NFRU) и Neural Super Sampling and Denoising (NSSD), реконструируют изображение, генерируют промежуточные кадры и убирают шум в сценах с трассировкой лучей
- Демо Neural Dawn (Arm и Sumo Digital) показывает до 4 раз более высокую производительность на энергию и до 70% меньше трафика в память по сравнению с обычным рендерингом
- Новый исполнительный движок, крупнейшее обновление архитектуры набора команд Mali за семь поколений, даёт до 2 раз больше регистров на варп и до 24% прироста производительности в бенчмарках
- Третье поколение аппаратной трассировки лучей Arm снижает трафик к памяти до 13% на профильных бенчмарках; студия Where Winds Meet станет одной из первых, кто внедрит технологию в реальную игру
Почему это важно
Это первый GPU в линейке Mali, где нейронное ускорение встроено прямо в графический конвейер, а не работает как отдельный слой поверх рендеринга. Заодно Arm обновила архитектуру набора команд, впервые так масштабно за семь поколений, и довела аппаратную трассировку лучей до третьего поколения. Для индустрии мобильных чипов это заявка на то, что нейрографика (реконструкция кадра, генерация промежуточных кадров, шумоподавление) становится стандартной частью GPU, а не экспериментальной надстройкой.
Кому это важно
Производителям мобильных чипсетов и смартфонов, которые лицензируют архитектуру Mali (за Arm, более 14 млрд поставленных GPU этого семейства); студиям и издателям мобильных игр, которым новые техники обещают приблизить визуальное качество к настольному уровню в рамках энергетических и тепловых ограничений телефона; разработчикам игровых движков, которые получают готовый SDK и плагины (в том числе для Unreal Engine) для интеграции нейрографики.
Как это применить
Arm уже два года как открыла Arm Neural Technology и Neural Graphics Development Kit, набор с NSS и NFRU, расширениями машинного обучения для Vulkan, плагинами для движков и инструментами профилирования и дообучения моделей, так что интеграция для студий может начинаться уже сейчас, до появления самого чипа в устройствах. Первый практический пример, интеграция в движок Messiah для игры Where Winds Meet. При этом Arm не сообщила ни дату выхода Mali G2-Ultra NX, ни цену или условия лицензирования, ни конкретные партнёрские чипсеты, которые его получат, это всё пока не подтверждено.
Можно ли доверять
Это официальный пресс-релиз в блоге Arm, а не независимый обзор: все цифры о приросте производительности и снижении нагрузки на память (до 4х, до 70%, до 24% и другие), собственные измерения Arm на демо-сценах и бенчмарках компании, без независимой проверки и без указания конкретной модели предыдущего поколения Mali, с которой идёт сравнение. Формулировки «до» в каждом случае означают потолок, а не типичный результат.
Риски и подводные камни
Все заявленные приросты, маркетинговые цифры производителя чипа на собственных демонстрациях и бенчмарках, без независимой верификации и без указания базовой модели для сравнения. Дата выхода, цена, условия лицензирования и список устройств, которые получат Mali G2-Ultra NX, не раскрыты, оценить реальные сроки массового появления технологии в смартфонах на основе одного этого материала нельзя.
«Благодаря сотрудничеству с Arm мы интегрируем Arm Neural Technology в движок Messiah и переносим её в реальную разработку игр. Where Winds Meet станет одной из первых игр, которая принесёт Arm Neural Technology игрокам, это важный шаг от интеграции на уровне движка к реальному внедрению. Вместе мы прокладываем путь к более широкому принятию нейрографики во всей игровой индустрии.»
— Кели Чжоу (Keli Zhou), ведущий инженер движка Where Winds Meet