OpenAI представила собственный чип для вывода, созданный совместно с Broadcom
На этой неделе OpenAI анонсировала первый собственный кастомный процессор для вывода (inference processor) Jalapeño, разработанный в сотрудничестве с Broadcom. Процессор специально спроектирован под уникальные требования систем вывода OpenAI, при этом собственные ИИ-модели компании помогали в разработке чипа.
По заявлениям OpenAI, ранние тесты показывают значительно лучшую эффективность, производительность на ватт, чем текущие альтернативы на рынке. Официальное партнёрство с Broadcom было объявлено ещё в октябре, но планы OpenAI на собственные чипы давно ходили слухами как способ снизить зависимость от графических процессоров NVIDIA. Аналогичный подход уже применили Google и Amazon, разработав так называемые AI-ускорители, специализированную кремниевую архитектуру для ускорения машинного обучения.
Президент OpenAI Грег Брокман объяснил подход компании к разработке чипов в корпоративном подкасте вскоре после объявления партнёрства: компания нашла специфические рабочие нагрузки, которые недостаточно хорошо обслуживаются, и спроектировала решение для ускорения возможностей.
Jalapeño специально оптимизирован для вывода, процесса запуска готовых ИИ-моделей в ответ на команды пользователя. OpenAI подчеркнула низкие операционные затраты чипа при работе с моделями реального кодирования (real-time coding models). Вероятно, более ресурсоёмкие задачи вроде предварительного обучения (pre-training) останутся на аппаратуре NVIDIA, но даже небольшое снижение затрат на вывод может существенно улучшить финансовый результат компании.
Оптимизация системы вывода может стать решающим фактором экономики ИИ в будущем, это происходит на каждом уровне стека. OpenAI уже разрабатывает агентные продукты и модели их питающие, а также выстраивает датацентры для их запуска. Переход на специализированные чипы позволяет компании ещё глубже оптимизировать всю цепочку. Как объяснила сама OpenAI, компания не только разрабатывает передовые модели и продукты на их основе, но и проектирует инфраструктуру под них: архитектуру чипов, ядра системы, системы памяти, сетевые технологии, планирование и развёртывание. Благодаря охвату всего стека каждый уровень может быть оптимизирован под единую цель: сделать модели быстрее, надёжнее и доступнее для пользователей.
Ключевые факты
- OpenAI создала собственный кастомный чип Jalapeño для вывода ИИ-моделей в сотрудничестве с Broadcom
- Новый чип показывает заметно лучшую производительность на ватт (efficiency) по сравнению с текущей альтернативой NVIDIA
- Это часть стратегии OpenAI независеть от NVIDIA и оптимизировать всю цепочку от разработки моделей до развёртывания
- Jalapeño оптимизирован именно для вывода реальных ИИ-моделей, что могло бы снизить операционные затраты компании
- Google и Amazon уже проводили похожую работу, разрабатывая собственные AI-ускорители
Почему это важно
Вывод ИИ-моделей (inference), один из основных источников операционных затрат для компаний наподобие OpenAI. Если чип обеспечивает лучшую эффективность, это напрямую снижает затраты на обслуживание миллионов запросов пользователей. Более того, собственные чипы позволяют оптимизировать специфические рабочие нагрузки способом, невозможным на универсальной аппаратуре. Это долгосрочная инвестиция в конкурентоспособность и независимость от поставщиков.
Кому это важно
В первую очередь, самой OpenAI и её пользователям через потенциально более дешёвые и быстрые сервисы. Важно также для NVIDIA, которая теряет часть заказов от крупнейших потребителей ИИ-вычислений. Для других компаний (Google, Amazon, Meta), зависимых от GPU, это демонстрирует реальность вертикальной интеграции. Для стартапов и небольших сервисов, косвенно, через возможный рост спроса на облачные услуги OpenAI, если они подешевеют.
Как это применить
На уровне бизнеса: если вы используете OpenAI API, будущие скидки на inference могут улучшить экономику вашего продукта. На уровне архитектуры: если вы разрабатываете ИИ-интенсивный сервис, стоит следить за тем, как эволюционирует аппаратная оптимизация под ваши рабочие нагрузки, собственные чипы могут дать конкурентное преимущество. На уровне стратегии: вертикальная интеграция (от моделей до чипов) становится нормой для лидеров ИИ-отрасли.
Можно ли доверять
Информация исходит от самой OpenAI через официальное объявление. Заявления об улучшении производительности на ватт требуют проверки реальной независимой оценки, которая может появиться позже. Факт партнёрства с Broadcom (крупнейшим производителем чипов) добавляет серьёзности анонсу. Однако чип всё ещё находится в тестировании, так что коммерческая доступность и реальная производительность в боевых условиях пока неизвестны.
Риски и подводные камни
Разработка собственных чипов требует огромных инвестиций и длительных циклов. Если производительность не соответствует обещаниям, OpenAI потеряет инвестиции. Чипы узкоспециализированы, что ограничивает гибкость, если потребности вдруг изменятся. Риск отставания технологии от NVIDIA, которая имеет больше опыта и ресурсов в области разработки ускорителей. Для экосистемы: если крупные игроки вертикально интегрируются и создают собственные чипы, это может затруднить жизнь небольшим компаниям, у которых нет ресурсов на такие инвестиции.
«У нас глубокое понимание рабочей нагрузки. Мы действительно ищем специфические нагрузки, которые недостаточно хорошо обслуживаются, и спрашиваем себя: как нам создать что-то, что ускорит возможное?»
— Грег Брокман, президент OpenAI