AMD объяснила, зачем в EPYC Venice 2.5D-упаковка и два кристалла ввода-вывода

AMD объяснила, зачем в EPYC Venice 2.5D-упаковка и два кристалла ввода-вывода

Издание Chips and Cheese опубликовало отредактированную расшифровку интервью George Cozma с Mahesh Subramony из AMD, записанного на мероприятии AMD In-Depth. Subramony представился как корпоративный вице-президент по проектированию (design engineering), возглавляющий серверную архитектуру; с прошлого интервью его роль изменилась. Разговор посвящён устройству SoC новых процессоров EPYC Venice на архитектуре Zen 6.

Почему 2.5D-упаковка. По словам Subramony, к ней подтолкнул объём данных. В прошлом поколении между процессорными чиплетами и кристаллом ввода-вывода передавалось, как он помнит, чуть меньше 700 ГБ/с, и обычной упаковки со связями GMI хватало. Теперь речь о 1,6 ТБ/с, причём каждый CCD (кристалл с ядрами) обеспечен с запасом по пропускной способности. Передача такого потока через обычную упаковку, по его оценке, съела бы около 10-15% общего энергобюджета SoC независимо от цифр «пикоджоулей на бит» из научных статей. Это условная оценка для гипотетического варианта, а не измерение. Venice, по формулировке интервьюера, первый серверный процессор AMD с 2.5D-упаковкой; Subramony это не оспорил.

Почему два кристалла ввода-вывода. Очень короткие связи между CCD и кристаллом ввода-вывода требуют совпадения ширины кристаллов на стыке и достаточной длины периметра под подключения. В прошлых поколениях связи могли идти по длинным маршрутам внутри корпуса, теперь расстояния сведены к нескольким миллиметрам. Эти ограничения влияют на форму кристалла, и это, по словам Subramony, одна из базовых причин разделения блока ввода-вывода надвое. Благодаря маломощной, быстрой связи с малой задержкой в упаковке такое разделение мало ударило по энергопотреблению и задержкам.

AMD использовала один и тот же проект кристалла дважды, повернув вторую копию на 180 градусов. Цена, некоторый выигрыш в площади теряется: уникальные блоки (корень доверия, часть ввода-вывода для загрузки) нужны один раз, но дублируются на обоих кристаллах. Сложнее всего было обеспечить качество обслуживания, пропускную способность и задержки в режиме NPS1, когда SoC обязан работать как единый домен. Subramony полагает, что с ростом числа ядер «тайловые» (составные) подходы будут всё выгоднее.

SP7 и SP8. У платформы SP8 тоже два кристалла ввода-вывода, но другого проекта. Рынок предприятий требовал меньше вычислений, а накладные расходы кристаллов SP7 для него подходили плохо; при этом SP8 нужно много линий ввода-вывода. «Мы увидели развилку на дороге», говорит Subramony. Единый универсальный кристалл добавил бы затрат обеим платформам, поэтому сделали два. Кристалл SP7 рассчитан на большую вычислительную мощность, меньше линий ввода-вывода и больше каналов памяти. У SP8 вдвое меньше каналов памяти, доступны все 128 линий PCIe на сокет, а ядер до 96 (Zen 6) и до 128 (Zen 6c).

Связи CCD. У 12-ядерного CCD три связи с кристаллом ввода-вывода (SDP-порта), у 32-ядерного, четыре, примерно по одному порту на восемь ядер. 12-ядерные CCD будут работать с модулями памяти MRDIMM и должны помогать насытить 16 каналов по 12 800 MT/s, поэтому на ядро им нужна пропускная способность выше. Три порта на 12 ядер могут выглядеть избыточными, но цель, чтобы каждый CCD вносил вклад в насыщение памяти всего SoC.

33-е ядро. Физически 32-ядерный CCD содержит 33 ядра и 33 среза кэша L3. Это нужно для выхода годных: любое одно ядро с его срезом можно отключить при дефекте, не нарушив топологию сети (mesh). Активных ядер всегда 32: «Продукта с 33 активными ядрами не будет», это же упрощает ассоциативность кэша и топологию.

Задержка L3. Для 128 МБ L3 определение попадания или промаха займёт несколько лишних тактов; точного числа в интервью нет. Остальной путь от фабрики до памяти почти идентичен у обоих CCD. AMD считает, что дополнительный объём кэша с лихвой компенсирует это на нагрузках, которым он полезен. На простаивающем процессоре с замером задержки DRAM при закрытых страницах разница между CCD будет видна и в основном объясняется поиском в L3.

3D V-Cache. Для 96-ядерного варианта используется 12-ядерный CCD с X3D: ещё 96 МБ L3, всего около 144 МБ на CCD. Добавлять такой стек на плотный CCD, по словам Subramony, дорого, и сейчас AMD на этом не сосредоточена: 256-ядерный процессор рассчитан на сбалансированную пропускную способность при очень жёстком энергобюджете на ядро, и сначала стоит искать больше пропускной способности или частоты.

Ключевые факты

  • Для Venice AMD перешла на 2.5D-упаковку: связь между чиплетами и кристаллом ввода-вывода выросла с чуть менее 700 ГБ/с в прошлом поколении до 1,6 ТБ/с; по оценке Subramony, на обычной упаковке такой поток отнял бы около 10-15% энергобюджета SoC.
  • Блок ввода-вывода разделён на два кристалла одного проекта, вторая копия повёрнута на 180 градусов; цена, частично дублируются уникальные блоки и возрастает площадь.
  • У SP7 и SP8 разные кристаллы ввода-вывода: SP8 имеет вдвое меньше каналов памяти, 128 линий PCIe на сокет и до 96 ядер Zen 6 или 128 ядер Zen 6c.
  • 32-ядерный CCD физически содержит 33 ядра и 33 среза L3 ради выхода годных, но активных ядер всегда 32; у него четыре связи с кристаллом ввода-вывода против трёх у 12-ядерного CCD.
  • Больший L3 (128 МБ) даёт лишь несколько лишних тактов задержки поиска; дополнительный 3D V-Cache на плотный CCD AMD считает дорогим и пока не в фокусе.

Почему это важно

Venice, первый, по словам интервьюера, серверный процессор AMD с 2.5D-упаковкой, и интервью объясняет причины ключевых архитектурных решений: рост межкристальной пропускной способности до 1,6 ТБ/с, раздельные кристаллы ввода-вывода и разные платформы SP7 и SP8. Это редкий взгляд изнутри: инженерная логика (энергия на передачу данных, периметр кристаллов, стоимость и выход годных), а не маркетинговые слайды.

Кому это важно

Архитекторам и инженерам по железу, специалистам по серверным платформам и закупщикам дата-центров, которые следят за линейкой EPYC. Тем, кто выбирает между SP7 (больше вычислений и каналов памяти) и SP8 (больше линий PCIe, до 96 ядер Zen 6 или 128 ядер Zen 6c), полезно понимать, под какие задачи платформы спроектированы. Читателям, интересующимся устройством кэша и памяти, разбор задержки L3 и MRDIMM.

Как это применить

Прямого практического применения у интервью нет: названий моделей, цен, тактовых частот, TDP и сроков выхода Venice в нём нет. Но из него можно вынести ориентиры при планировании: 12-ядерные CCD рассчитаны на связку с MRDIMM (16 каналов по 12 800 MT/s), а 256-ядерный вариант заточен под сбалансированную пропускную способность при жёстком энергобюджете на ядро. При тестировании стоит учитывать: на простаивающем процессоре задержка DRAM у двух типов CCD будет различаться из-за поиска в L3.

Можно ли доверять

Источник, отредактированная для краткости и читаемости расшифровка интервью с руководителем серверной архитектуры самой AMD. Все утверждения, слова представителя компании, а не независимые измерения. Цифра о 10-15% энергобюджета, оценка для гипотетической обычной упаковки, а предыдущие 700 ГБ/с он называет по памяти. Измеренных задержек в интервью нет, лишь «несколько лишних тактов». Утверждение, что Venice, первый серверный процессор AMD с 2.5D-упаковкой, прозвучало в вопросе интервьюера и не было оспорено.

Риски и подводные камни

Дата интервью и запуска Venice не указана, как и названия продуктов, цены и тип упаковки или техпроцесс. Мнение о том, что дополнительный L3 с лихвой компенсирует задержку, убеждение AMD («мы считаем»), реальный эффект зависит от нагрузки. Прогноз о растущей выгоде «тайловых» подходов, осторожное мнение («я думаю»). Не стоит путать платформы: 96 и 128 ядер, максимум для SP8, а не SP7; 33-е ядро в продукте активным не будет.

«Продукта с 33 активными ядрами не будет.»

— Mahesh Subramony, AMD