Cerebras запустила раздельный инференс: по её данным, в 5 раз больше токенов на мегаватт

Cerebras в собственном блоге объявила, что её раздельный (disaggregated) инференс запущен в промышленную эксплуатацию. Идея в том, чтобы разделить два этапа обработки запроса: GPU занимаются обработкой входного промпта (prefill), а системы Cerebras генерируют выходные токены (decode). По словам компании, спрос на быстрый инференс в 2026 году резко вырос как в её облаке Cerebras Inference Cloud, так и у партнёров, и именно поэтому она занялась этим решением.
Главное заявление: такая связка даёт в пять раз больше токенов на мегаватт при тех же «сверхбыстрых» скоростях Cerebras. В измеренном продакшен-развёртывании в Cerebras Inference Cloud промпты обрабатывают GPU AMD Instinct, а ответы генерируют системы CS-3. Результат, 5X пропускной способности на мегаватт относительно конфигурации, где работают только CS-3, и без потери скорости генерации токенов. Замер сделан на общей конечной точке с моделью GPT-OSS-120B 14 ноября (год в тексте не указан): сравнивали пропускную способность на мегаватт до и после включения раздельного инференса, за единицу принят базовый вариант без разделения. Абсолютных цифр (токенов в секунду, задержки, мощности, стоимости) в посте нет, как нет и сравнения с чисто GPU-инференсом; все данные принадлежат самой Cerebras и независимо не проверялись.
Почему именно decode отдают Cerebras. Генерация авторегрессионная: модель выдаёт по одному токену, и на каждом шаге заново читает данные модели из памяти, поэтому критична пропускная способность памяти. Cerebras утверждает, что для сверхбыстрого инференса выигрывают чипы с упором на SRAM: они держат данные на кристалле и читают их быстрее. Её чип масштаба целой пластины, по её словам, имеет десятки гигабайт SRAM и десятки петабайт в секунду пропускной способности памяти, в 350 раз больше SRAM и в 5 400 раз выше пропускная способность памяти, чем у типичного GB300. Компания также считает, что именно разделение prefill и decode особенно выгодно для сильно интерактивного инференса. Перенос обработки промпта на GPU освобождает мощности Cerebras под генерацию ответа.
Для партнёров предлагается эталонная архитектура: партнёр размещает выбранные им ускорители для prefill рядом с системами Cerebras в единой сети. Программный стек можно взять двумя способами. Первый, сквозной стек, ориентированный на скорость выхода на рынок: фреймворк маршрутизации запросов между пулами prefill и decode с управлением ёмкостью и состоянием реплик; prefill-движок на открытых движках вроде vLLM или SGLang; decode-движок Cerebras; и KV Portal, интерфейс передачи промежуточного состояния модели, включая KV-кэши, между prefill и decode по RDMA. Второй, SDK только для decode, для тех, кто хочет контроля: партнёр приносит свой фреймворк и prefill-движок, а Cerebras даёт decode-движок и KV Portal, а также средства разработки, включая имитацию decode-реплики и эталонную интеграцию с открытым фреймворком раздельного инференса.
Ранний доступ к решению, по словам Cerebras, уже есть у Amazon Web Services, Fireworks AI, Gimlet Labs и General Compute; сейчас компания расширяет доступ на других партнёров. Планы: развернуть раздельный инференс широко, на сотнях мегаватт в Cerebras Inference Cloud и у партнёров, к концу 2027 года. Это вместе с недавно анонсированной CS-4, расширением производства и запланированными 700 МВт мощности дата-центров должно позволить обслужить значительно больше токенов в 2027 году и позже.
Ключевые факты
- Cerebras сообщает, что раздельный инференс уже в промышленной эксплуатации: GPU обрабатывают промпт (prefill), системы CS-3 генерируют ответ (decode).
- Заявленный результат, 5X пропускной способности на мегаватт относительно конфигурации только из CS-3, без потери скорости генерации; замер на общей конечной точке GPT-OSS-120B в Cerebras Inference Cloud, 14 ноября, GPU, AMD Instinct.
- Партнёрам предлагают эталонную архитектуру и два варианта ПО: сквозной стек (vLLM или SGLang для prefill, decode-движок Cerebras, KV Portal по RDMA) или SDK только для decode.
- Ранний доступ уже есть у Amazon Web Services, Fireworks AI, Gimlet Labs и General Compute; широкое развёртывание на сотнях мегаватт запланировано к концу 2027 года.
Почему это важно
Cerebras делает ставку на то, что мощность дата-центров становится ограничением, а агентные приложения (в посте названы Muse, Copilot и Codex) требуют быстрого интерактивного ответа. Если заявленные 5X на мегаватт подтвердятся, провайдер сможет обслужить больше запросов в рамках той же энергии, не жертвуя скоростью генерации. Показательно и архитектурное решение: компания, известная своими чипами масштаба пластины, признаёт, что часть работы (prefill) выгоднее отдать GPU, в том числе AMD Instinct, и сосредоточиться на генерации ответа.
Кому это важно
Операторам инференс-облаков и дата-центров, у которых упор идёт в энергию, а не только в число ускорителей. Также провайдерам, которые рассматривают гибридные схемы GPU плюс специализированные ускорители, и командам, строящим агентные продукты, где важна скорость ответа. Cerebras прямо адресует решение инфраструктурным партнёрам и расширяет им доступ.
Как это применить
Конечному разработчику ничего менять не нужно: решение работает на стороне провайдера, а выигрыш в мощности Cerebras видит в своём облаке. Партнёру, который хочет внедрить схему, доступны два пути: сквозной стек для быстрого выхода на рынок или SDK только для decode, если нужно использовать собственные фреймворк и prefill-движок. Условия, цены и состав оборудования в посте не указаны; для обсуждения предлагается обратиться в Cerebras по форме на сайте.
Можно ли доверять
Это блог самой Cerebras, подписи автора в нём нет. Все цифры принадлежат компании и независимо не проверены. Пятикратный рост измерен на одной конечной точке (общий GPT-OSS-120B в Cerebras Inference Cloud) в один день; других моделей и нагрузок в посте нет. Базой сравнения служит конфигурация только из CS-3, а не чисто GPU-вариант, поэтому вывод «в 5 раз эффективнее GPU» из текста не следует. Абсолютных значений скорости, задержки, мощности и стоимости не приведено.
Риски и подводные камни
Партнёры из раннего доступа, по тексту, лишь имеют доступ к решению: пост не говорит, что они уже работают в продакшене или получили те же 5X. Широкое развёртывание на сотнях мегаватт к концу 2027 года остаётся планом, а не фактом. Сравнения 350× по SRAM и 5 400× по пропускной способности памяти с типичным GB300 тоже даёт сама Cerebras. Не названо ни число используемых GPU и систем CS-3, ни стоимость, поэтому экономику схемы по тексту оценить нельзя. Реальный выигрыш у партнёров будет зависеть от выбранных ускорителей prefill, сети и нагрузки.