Майнинговую карту NVIDIA CMP 170HX превратили в A100-80G через сбой напряжения
Автор публикации сообщает, что обнаружил на кристалле NVIDIA GA100 уязвимость типа voltage fault injection (VFI, внедрение сбоя через напряжение), которая позволяет оператору прожигать произвольные фьюзы (электрические плавкие перемычки). С её помощью он, по его словам, превратил свою карту CMP 170HX 8GB, предназначенную для майнинга Ethereum, в «фактически A100-80G». Кроме того, он утверждает, что его разблокированные карты работают примерно в 1,2 раза быстрее серийной A100: у них включены все исправные потоковые мультипроцессоры (SM), около 120-126 штук (число зависит от «лотереи» качества кристалла), тогда как NVIDIA для всех серийных A100 выбрала «безопасные по выходу годных» 108 SM. Автор добавляет, что отключённые в CMP функции (NVLink, PCIe Gen4, NVJPG, NVDEC, MIG) тоже можно разблокировать этим способом, но NVJPG, NVDEC и MIG он отдельно не проверял.
Исходная проблема в дизайне, по словам автора, такова: NVIDIA использует фьюзы для разделения продуктов, защитных функций и управления доступом, и в ряде случаев прожиг фьюза даёт больше доступа, а не меньше. В грамотно защищённой конструкции прожжённый фьюз всегда должен приводить к более строгому состоянию, ведь вернуть его обратно экономически нецелесообразно. А у NVIDIA ограничения можно ослабить, прожигая ещё больше фьюзов.
Кристалл GA100 лёг в основу почти 20 разных вариантов продуктов, самый известный из них, A100. В исходном виде у кристалла 128 SM, 12 FBP (разделов кадрового буфера), 5 блоков NVDEC, контроллер PCIe Gen4 x16 и от 4 до 6 стеков памяти HBM в одном корпусе с кристаллом. Из «неразделённых» GA100 по результатам тестов на дефекты и спросу производителей получаются более урезанные варианты. Один из самых крайних случаев, CMP 170HX: у версии с номинальными 8 ГБ и у версии с номинальными 10 ГБ видимой приложениям памяти физически стоит примерно 80 и 40 ГБ HBM соответственно. Ранее программными методами карты уже научились разблокировать значительно, а VFI, по выражению автора, проходит «последнюю милю».
Контроллер фьюзов GA100 содержит 16 384 eFuse (512 строк по 32) и логику вокруг них; он читает и программирует фьюзы, защищает их и отдаёт остальному кристаллу «слова опций», которые определяют, как работает чип. Строки делятся на четыре области. Обычные фьюзы (строки 0-221) устроены с резервированием: например, опция OPT_ENABLE_FUSE_PROGRAM, разрешающая дальнейшую прошивку, хранится в основном и резервном фьюзе (бит 0 строки 0 и бит 0 строки 1). Прожжённый обычный фьюз практически не откатить, кроме как через RIR. «Бесфьюзовые» фьюзы (FF, строки 222-487), это закодированная в формате, похожем на цепочку JTAG, последовательность записей, описывающая значения слов опций. NVIDIA придумала их, чтобы не портить инженерные образцы случайным прожигом обычных фьюзов. Для разблокировки именно они важнее всего, потому что слова FF легко «обнулить», просто дописав новые строки FF; в обычных условиях любой прожиг FF жёстко блокируется. Область IFF (строки 487-512) хранит инструкции другого формата, в серийных картах обычно недоступна и в этом тексте не разбирается. RIR (8 строк по 32 фьюза вне основных 512), штатный механизм ремонта фьюзов от разработчика макроса: до 16 инструкций, каждая переопределяет один фьюз. В 8-гигабайтной версии 170HX 15 из 16 слов состоят из одних единиц, а шестнадцатое содержит почти бесполезную инструкцию; с 10-гигабайтной версией, по словам автора, всё иначе, но это тема отдельного разговора.
Запись FF, это 32-битная запись: биты 0-4 выбирают цепочку, бит 5 отличает FF от IFF (для FF он равен 0), биты 6-15 выбирают 16-битный блок, биты 16-31 задают его новое значение. Если две записи адресуют одну цепочку и один блок, побеждает более поздняя. Например, запись 0x0fe805c1 означает цепочку 1, блок 23, данные 0x0fe8; добавление такой записи может сбросить эффективный бит, выставленный ранее. Никакой физический фьюз при этом не «разжигается», новая запись просто заменяет старый блок. Это работает для опций на основе FF, но не для управляющих фьюзов в строках 0 и 1. Соответствия между записями FF и словами опций выяснил другой исследователь, сопоставляя значения FF и эффективные слова опций у разных вариантов GA100: официального описания, как отмечает автор, нет.
Управляют отключением блоков слова вида _DISABLE: они задают сигналы floorsweeping (отключения блоков кристалла), после которых блок становится недоступным и, вероятно, обесточенным. По собственным экспериментам автор считает, что эти линии заданы на уровне RTL, идут от контроллера фьюзов и управляют общим переключателем питания или тактирования внутри блока. Пример на одной из его 8-гигабайтных карт: OPT_FBP_DISABLE был равен 0x852, то есть были замаскированы FBP 1, 4, 6 и 11, а отдельная маска дефектных блоков OPT_FBP_DEFECTIVE равнялась 0x840 и покрывала 6 и 11. После замены FF-строки маска отключения стала 0x840: FBP 1 и 4, которые раньше отказывались отвечать на чтение и запись регистров, ожили, а дефектные 6 и 11 остались выключенными. В итоге из 12 FBP в эффективной маске оказываются 10 доступных.
Одной лишь записи FF недостаточно, чтобы блок стал полностью доступен приложению: например, геометрия кадрового буфера по умолчанию использует только часть каждого стека HBM. Поэтому автор слегка изменил метод cmpunlocker: обычный драйверный патч для разблокировки 8 → 64 ГБ пишет конфигурационные слова (FBPA_CFG, SM_SPEED_SELECT и др.), подобранные под распространённый вариант 170HX с запрещающими _DISABLE-словами. Когда FF-прожиги сняли запреты, в регистры можно записать более «разрешающие» значения, и получается то, что функционально является A100-80G.
Вывод автора: если уметь прожигать произвольные FF-фьюзы, любой GA100 можно разблокировать до максимума, который допускают выход годных кристаллов и установленные стеки памяти. Дальше он переходит к вопросу, как прожечь FF. Для запроса прожига нужно писать в регистры контроллера FUSEADDR, FUSEWDATA и FUSECTRL; они обычно недоступны хосту и непривилегированным запросам, но, по словам автора, с помощью ROP-цепочки «Canary in the Crypto Mine» открыть нужные маски привилегий несложно. Многие исследователи пытались заставить контроллер прожигать фьюзы области FF, и общие наблюдения таковы: у контроллера есть внутренний автомат состояний (его состояние видно по битам FUSECTRL_STATE), и он входит в состояние WRITE_PROGRAM для каждого «горячего» бита в FUSEWDATA, как и ожидается; но пока не сброшено определённое слово опции, записи по адресам вне диапазона FPF блокируются. На этом доступная часть текста обрывается, и сама процедура воздействия напряжением в ней не описана.
Автор подчёркивает, что опирается на работы Джона Прая (Jon Pry) и многих других, изучавших GA100. Он раскрывает свои выводы после того, как другой исследователь независимо нашёл ту же уязвимость, считает публикацию в интересах общества и сообщает, что передал находки службе безопасности продуктов NVIDIA до выхода статьи.
Ключевые факты
- Автор блога сообщает об уязвимости VFI (сбой по напряжению) на кристалле NVIDIA GA100, позволяющей прожигать произвольные фьюзы, и о превращении карты CMP 170HX 8GB в фактический A100-80G.
- По его заявлению, разблокированные карты примерно в 1,2 раза быстрее серийной A100: включено около 120-126 SM (зависит от кристалла) против 108 у серийных A100; методика замеров в разобранной части не приведена.
- Ключ к разблокировке, «бесфьюзовые» фьюзы (FF, строки 222-487 из 512): их слова опций можно переопределить, дописав новые 32-битные записи, где побеждает более поздняя.
- В CMP 170HX с номинальными 8 и 10 ГБ физически стоит около 80 и 40 ГБ HBM; одних FF-прожигов мало, нужна ещё правка конфигурации в духе метода cmpunlocker.
- Находки переданы службе безопасности продуктов NVIDIA до публикации; другой исследователь независимо нашёл ту же уязвимость.
Почему это важно
Если выводы автора верны, это пример того, как сегментация продуктов, целиком завязанная на фьюзы, ломается на одном физическом приёме. Автор указывает на конструктивный изъян: у NVIDIA прожиг дополнительных фьюзов может ослаблять ограничения, тогда как в защищённой конструкции прожжённый фьюз должен только ужесточать состояние. Практический результат, майнинговая карта, по заявлению автора, превращённая в аналог A100-80G с большим числом включённых SM, чем у серийной A100 (около 120-126 против 108).
Кому это важно
Специалистам по безопасности оборудования и тем, кто изучает защиту фьюзов, контроллеры и атаки через сбои питания. Также материал интересен исследователям GPU-архитектуры (в тексте разобраны структура фьюзов, формат FF-записей и floorsweeping), владельцам и покупателям карт CMP 170HX и тем, кто следит за практиками NVIDIA по разделению продуктов.
Как это применить
Пошаговой инструкции в разобранной части нет: сам приём с напряжением в ней не описан. Полезно здесь другое, понимание схемы. Читатель может разобраться, как устроены четыре области фьюзов GA100, как кодируются FF-записи (цепочка, блок, 16-битное значение, приоритет более поздней записи) и почему помимо FF-прожигов требуется драйверная конфигурация в духе cmpunlocker. Это же разумная точка отсчёта для оценки защиты собственных аппаратных решений: не должно быть функций, где прожиг фьюза расширяет доступ.
Можно ли доверять
Это личный технический отчёт автора, а не независимая проверка: утверждения о разблокировке, о превращении карты в A100-80G и об ускорении примерно в 1,2 раза принадлежат ему самому. Методика замера и конкретные результаты в разобранной части не приведены. Часть выводов автор прямо называет предположениями (например, что линии floorsweeping заданы на уровне RTL), а соответствия FF и слов опций получены сопоставлением SKU, официального описания нет. Подтверждения или ответа NVIDIA в тексте нет; сказано лишь, что находки переданы её службе безопасности продуктов до публикации.
Риски и подводные камни
По словам автора, прожжённый фьюз нельзя вернуть в исходное состояние экономически оправданным способом, а обычные фьюзы практически не откатываются, поэтому ошибки при подобных экспериментах необратимы. Разблокировка NVJPG, NVDEC и MIG автором не проверялась. Результат зависит от «лотереи» кристалла: число исправных SM у разных карт различается, а дефектные FBP остаются отключёнными. Автор отдельно оговаривает, что для 10-гигабайтной версии картина иная и это тема будущего. Кроме того, публикация раскрывает уязвимость, о которой уже знал как минимум ещё один исследователь, а меры производителя неизвестны.
«Конструкция NVIDIA позволяет ослаблять ограничения, прожигая ещё больше фьюзов!»
— автор публикации в блоге