Samsung встроила вычисления в память LPDDR5X-PIM: 614 ГБ/с для ИИ

На конференции Hot Chips 2026 Samsung показала память LPDDR5X-PIM, модуль объёмом 16 ГБ, где вычислительные блоки встроены прямо в кристалл DRAM, а не подключены снаружи через шину. Внутри пакета данные идут между банками памяти и вычислительными блоками на скорости 614 ГБ/с, тогда как через обычные внешние выводы того же модуля наружу выходит лишь 76,8 ГБ/с, как сообщил Tom's Hardware, разница восьмикратная. Для сравнения: 614 ГБ/с, это пропускная способность памяти топового Apple M5 Max (40-ядерная версия GPU в MacBook Pro за $3499) для всей унифицированной памяти системы, а Samsung получает такую скорость внутри одного-единственного модуля памяти.

Причина в том, как языковые модели генерируют токены. Чтобы выдать один токен при пакетной обработке размером 1 (типичный локальный инференс), нужно прочитать из DRAM каждый параметр модели, один раз умножить и отбросить, переиспользовать веса между токенами нельзя, потому что каждый токен зависит от предыдущего. По грубой формуле «токенов в секунду ≈ пропускная способность памяти (ГБ/с) ÷ размер модели (ГБ)» при 614 ГБ/с и модели на 20 ГБ теоретический потолок, около 30 токенов в секунду, а в реальности он ниже из-за растущего KV-кэша. Поэтому у Apple производительность локального инференса завязана именно на пропускную способность памяти: M5 Pro даёт 307 ГБ/с, M5 Max, 460 или 614 ГБ/с, M5 Ultra, 1,2 ТБ/с.

Внутри пакета LPDDR5X-PIM, шестнадцать вычислительных блоков PIM с MAC-деревьями (умножение с накоплением) и ALU для чисел с плавающей запятой и целых чисел. Корпус, стандартный по JEDEC 561-контактный модуль на 16 ГБ (четыре кристалла на ранг), совместимый по форм-фактору с обычной LPDDR5X. Обработка идёт в четыре шага: хост широковещательно записывает FP8-активации в регистровые файлы банков; команда PIMX_RD читает 32-байтные элементы весов из ячеек DRAM и раскладывает их по MAC-деревьям; частичные суммы записываются обратно в банк; на чтение хост переключается в однобанковый режим и выполняет до 64 последовательных чтений, чтобы выгрузить 1-килобитный векторный регистровый файл. Веса всё время остаются внутри модуля, через шину проходят только гораздо более компактные активации. Модуль поддерживает пятнадцать комбинаций точности: например, веса в формате SINT4 дают 2,4 TOPS, а FP8, около 1,2 TFLOPS на модуль.

Чтобы не заставлять каждого производителя SoC делать новый контроллер памяти, Samsung реализовала механизм Address Align Mode: он транслирует обычные адреса DRAM в инструкции для PIM, и модуль работает с типовым контроллером памяти, переключаясь между однобанковым режимом для обычной DRAM и многобанковым, для PIM. По словам Samsung, такое переключение быстрее и надёжнее, чем в её более ранних HBM-PIM модулях. Свою архитектуру компания проверила на собственном edge AI ускорителе: сравнила обычную LPDDR5X и LPDDR5X-PIM на модели Llama 3.1 8B с контекстом 320 токенов, используя SINT8 для активаций, SINT4 для весов и SINT32 для вывода. Это тест одного производителя на одной модели, с коротким контекстом и только целочисленным квантованием, он показывает, что архитектура работает на реальном кремнии, но не предсказывает результат для всех сценариев; конкретных цифр «токенов в секунду» по этому тесту в источнике нет. Цену модуля Samsung не раскрыла, поэтому выигрыш в стоимости по сравнению с более широкой шиной памяти пока остаётся утверждением, а не измеренным результатом.

Интерес производителей памяти к PIM подогревает экономика: по данным, которые Samsung привела на презентации, доля памяти в расходах на компоненты ИИ-чипов выросла с 52% в первом квартале 2024 года до 63% в четвёртом квартале 2025-го, и большую часть этой доли занимает HBM. LPDDR5X-PIM даёт путь к пропускной способности уровня HBM без её цены, энергопотребления и сложности упаковки. Samsung развивает это направление с прототипа Aquabolt-XL HBM2-PIM 2021 года; LPDDR5X-PIM, первая её PIM-разработка на базе LPDDR, дошедшая до серийного продукта.

Готового программного пути от кремния до применения пока нет: ни в llama.cpp, ни в vLLM, ни в других массовых движках инференса нет бэкенда для PIM, Samsung предлагает только симулятор, датащит по запросу и SDK со справочными инструментами. Автор материала называет три конкретных препятствия. Во-первых, форматы k-квантования GGUF (например, Q4_K_M), на которых строится преимущество llama.cpp по качеству на бит, не ложатся на это железо: они используют блочное квантование с масштабами на блок и суперблок, а для этого нужна универсальная логика, которой в DRAM почти нет, производственный процесс DRAM оптимизирован под конденсаторы хранения, а не под транзисторы логики; один из рассмотренных в исследованиях альтернативных дизайнов с поддержкой FP16 и INT32 поверх MAC-блоков даёт около 126% дополнительной площади кристалла. Минималистичные MAC-блоки Samsung k-кванты не выполняют: пятнадцать поддерживаемых режимов точности используют равномерные форматы (включая пару SINT4/SINT8 из теста), и существующие GGUF-файлы пришлось бы переквантовать под нативный для PIM формат, сколько от прироста качества k-квантов при этом сохранится, неизвестно. Во-вторых, mmap позволяет ядру ОС раскладывать страницы модели по физической памяти как угодно, а PIM требует, чтобы матрица весов лежала непрерывно и была выровнена по банкам, чьи MAC-деревья будут её перемножать, сегодня ни macOS, ни Linux, ни Windows не дают приложению выделенный по банкам аллокатор с huge pages, а загрузка модели через mmap в llama.cpp (одна из вещей, которая делает его удобным) с этим требованием конфликтует. В-третьих, PIM на уровне банков, как у Samsung, так и у её же HBM2-PIM, и у GDDR6-PIM компании SK hynix, рассчитан на матрично-векторное умножение (GEMV), типичное для пакетной обработки размером 1. Но современный инференс всё чаще требует и матрично-матричного умножения (GEMM): пакетная обработка нескольких запросов объединяет GEMV-операции в GEMM, group query attention сливает несколько GEMV в узкую GEMM, а спекулятивное декодирование, проверяющее несколько токенов-кандидатов параллельно, тоже превращает GEMV в GEMM, согласно исследованию, на которое ссылается автор, это снижает эффективность PIM-дизайнов, заточенных под GEMV.

Отдельно разобрано мульти-токенное предсказание (multi-token prediction, MTP): модель может использовать его как цель обучения, как DeepSeek-V3, отбрасывая лишние модули при обычном инференсе, или как спекулятивный «черновик»: несколько токенов предлагаются заранее, а основная модель параллельно их проверяет; Google сообщает об ускорении до 3 раз на модели Gemma 4 таким способом. Именно шаг проверки, слабое место дизайна Samsung: проверка нескольких токенов-кандидатов за один проход сдвигает крупные линейные слои от GEMV к узкой GEMM, а MAC-блоки внутри банков не могут задействовать на такой операции полную пропускную способность банка; кроме того, нынешний дизайн Samsung блокирует доступ NPU к DRAM, пока работает PIM, то есть два процессора не могут одновременно делить между собой работу над одним слоем. Есть исследовательские архитектуры вроде PAPI, которые предлагают планировщик, направляющий операции, ограниченные памятью, на PIM, а операции, ограниченные вычислениями, на GPU в гетерогенной системе, но такое железо гибче, чем пакет LPDDR5X-PIM. Автор заключает: выигрыши MTP и PIM не складываются линейно, потому что оба приёма экономят на одном и том же, чтении весов из памяти; на существующем сегодня железе MTP может дать больший и более дешёвый прирост для моделей с точными «черновыми» головами, а выигрыш PIM зависит от раскладки модели, квантования и доли операций, которые остаются GEMV.

У моделей типа «смесь экспертов» (MoE) есть дополнительная сложность: маршрутизация токенов к отдельным экспертам может нагружать один поднабор банков, оставляя другие простаивать, а меняющееся соотношение GEMV/GEMM ещё сильнее снижает загрузку железа. Разработчики архитектур предлагают разные ответы: одни (AttAcc, IANUS, NeuPIMs) держат NPU для GEMM-тяжёлого prefill и PIM, для GEMV-тяжёлого decode; другие переносят вычисления на логический слой корпуса памяти, например, архитектура Duplex для MoE, GQA и непрерывной пакетной обработки размещает на логическом слое HBM 32 GEMM-модуля по 512 FP16-MAC и 8 КБ буфера каждый, занимая 17,80 мм², около 14,7% площади HBM3-кристалла в 121 мм²; третьи строят гетерогенные вычисления прямо внутри памяти, архитектура CENT вовсе убирает GPU из системы на CXL, а HALO разносит работу по фазам: prefill, ограниченный вычислениями, на compute-in-memory, decode, ограниченный памятью, на compute-in-DRAM. Но Samsung выбрала подход с вычислениями рядом с банком именно потому, что логика там должна оставаться маленькой, а значит, полноценные GEMM-модули туда не помещаются.

Ключевые факты

Samsung показала на Hot Chips 2026 модуль памяти LPDDR5X-PIM (16 ГБ, JEDEC-корпус на 561 контакт) со встроенными вычислительными блоками: внутренняя пропускная способность 614 ГБ/с против 76,8 ГБ/с через внешние выводы, разница в 8 раз.
По формуле «токены/с ≈ пропускная способность ÷ размер модели» 614 ГБ/с на модели весом 20 ГБ дают теоретический потолок около 30 токенов в секунду для пакетной генерации размером 1, именно этот сценарий и решает PIM.
Тест Samsung на Llama 3.1 8B (контекст 320 токенов, целочисленное квантование SINT8/SINT4/SINT32) показал, что архитектура работает на реальном кремнии, но охватывает лишь одну модель и один короткий контекст; цена модуля не раскрыта.
Софта под PIM пока нет: ни в llama.cpp, ни в vLLM нет бэкенда, k-кванты GGUF не ложатся на минималистичные MAC-блоки, а загрузку моделей через mmap блокирует отсутствие банк-ориентированного аллокатора памяти в существующих ОС.
Архитектура заточена под GEMV (декодирование по одному токену) и теряет эффективность на GEMM-подобных сценариях, пакетной обработке, group query attention и спекулятивном декодировании, включая мульти-токенное предсказание, которое у Google даёт до 3× ускорения на Gemma 4.

Почему это важно

Локальный инференс языковых моделей упирается не в вычислительную мощность, а в пропускную способность памяти: при генерации по одному токену (batch-1) каждый параметр модели читается из DRAM ровно один раз и веса нельзя переиспользовать между токенами. Samsung переносит часть вычислений внутрь самой памяти, к банкам DRAM подключены 16 вычислительных блоков, и данные между ними и банками идут на 614 ГБ/с, тогда как наружу через обычные выводы того же модуля выходит лишь 76,8 ГБ/с. Восьмикратный разрыв показывает, что узкое место, не сами банки памяти, а внешняя шина, которая не может донести их пропускную способность до процессора. 614 ГБ/с внутри одного модуля памяти сопоставимы со всей пропускной способностью памяти топового Apple M5 Max.

Кому это важно

В первую очередь, производителям памяти и SoC для локального и edge-инференса ИИ: доля памяти в расходах на компоненты ИИ-чипов выросла с 52% в начале 2024 года до 63% в конце 2025-го, и большую часть этой доли забирает дорогая HBM. LPDDR5X-PIM обещает подобраться к пропускной способности HBM в обычном JEDEC-корпусе, это интересно тем, кто проектирует ноутбуки, edge-устройства и серверы для локального запуска моделей. Также это касается разработчиков движков инференса вроде llama.cpp и vLLM: именно им предстоит писать поддержку такого железа, которой сегодня нет вовсе.

Как это применить

Пока, никак: Samsung не назвала ни цену, ни срок выхода модуля LPDDR5X-PIM на рынок. Технически модуль спроектирован как замена обычной LPDDR5X в том же корпусе (JEDEC, 561 контакт), а механизм Address Align Mode позволяет работать с типовым контроллером памяти без переделки под каждый SoC. Но применить это в реальном софте нельзя: ни в llama.cpp, ни в vLLM нет бэкенда для PIM, существующие квантованные модели в формате GGUF (k-кванты вроде Q4_K_M) пришлось бы переквантовать под более простые равномерные форматы (модуль поддерживает 15 комбинаций точности, включая SINT4 и FP8), а операционным системам сегодня нечем разместить веса модели непрерывно и выровненно по банкам памяти, как того требует PIM.

Можно ли доверять

Материал, разбор автора статьи Бена Хьюстона, основанный на открытой презентации Samsung на Hot Chips 2026 и на технических деталях, которые раскрыла сама компания. Единственный измеренный результат, тест самой Samsung на её собственном edge AI ускорителе: одна модель (Llama 3.1 8B), один короткий контекст (320 токенов) и только целочисленное квантование; конкретных цифр «токенов в секунду» источник не приводит. Автор прямо отмечает, что это доказывает работоспособность архитектуры на кремнии, но не предсказывает производительность на других сценариях, а короткий контекст занижает влияние проблемы растущего KV-кэша. Цена модуля не раскрыта, так что заявления об экономии, пока не подтверждённое измерениями обещание.

Риски и подводные камни

Три конкретных препятствия отделяют работающий кремний от готового продукта. Во-первых, k-квантование GGUF (формат Q4_K_M и подобные), на котором строится качество моделей в llama.cpp, требует блочного масштабирования, логики, которой почти нет в минималистичных MAC-блоках PIM: один из альтернативных дизайнов с поддержкой FP16/INT32 «поверх» MAC-блоков, упомянутых в исследованиях, увеличивает площадь кристалла примерно на 126%. Во-вторых, PIM требует, чтобы веса модели лежали в памяти непрерывно и были выровнены по банкам, а ни macOS, ни Linux, ни Windows не дают такого банк-ориентированного аллокатора, это прямо конфликтует с mmap-загрузкой моделей в llama.cpp. В-третьих, архитектура заточена под GEMV (умножение матрицы на вектор), а современный инференс всё больше уходит в сторону GEMM (умножение матрицы на матрицу), из-за пакетной обработки нескольких запросов, group query attention и спекулятивного декодирования; проверка нескольких токенов-кандидатов за проход (в том числе через мульти-токенное предсказание) превращает GEMV в GEMM и снижает эффективность PIM именно там, где выигрыш нужнее всего. К тому же нынешний дизайн Samsung не даёт NPU обращаться к DRAM, пока работает PIM, то есть два процессора нельзя задействовать на одном слое одновременно.