ИИтог

Amazon выпустила TorchNeuron: PyTorch-приложения идут на чип Trainium в одну строку

инфраструктураРедакция ИИтогTechCrunch🔥69Рейтинг ИИтог69Влияние60Новизна62Релевантность100Неожиданность40Участники80Достоверность85
Amazon выпустила TorchNeuron: PyTorch-приложения идут на чип Trainium в одну строку

В понедельник Amazon Web Services (AWS) выпустила инструмент TorchNeuron. Он позволяет ИИ-стартапам перенести свои приложения на собственный ИИ-чип Amazon, Trainium. TorchNeuron работает с PyTorch, бесплатным открытым фреймворком, на котором разработчики создают, обучают и запускают модели. По заявлению Amazon, приложения на PyTorch запускаются на Trainium при изменении всего одной строки конфигурации, без переписывания кода. TorchNeuron адаптирован из PyTorch, поэтому тем, кто знает PyTorch, не нужно учиться заново.

Контекст в том, что Amazon целится в программное преимущество Nvidia. По данным Amazon, около 85% ИИ-приложений написаны на PyTorch. Фреймворк создала Facebook, а с 2022 года он входит в Linux Foundation. Nvidia годами добивалась, чтобы её программная инфраструктура CUDA бесшовно поддерживала приложения на PyTorch, и теперь, как пишет TechCrunch, оборудование Nvidia встроено в инструмент практически по умолчанию. Amazon не первая пытается упростить перенос: приложения на PyTorch можно так же простой правкой конфигурации перенести на GPU AMD и даже на чипы Apple.

Главный довод Amazon, перенос на Trainium не только прост, но и открывает стартапам доступ ко всему облаку AWS. Компания утверждает, что это лучше, чем неооблака (neoclouds), многие из которых привязаны к Nvidia: CoreWeave, Nebius и Firmus. Колин Брейс (Colin Brace), вице-президент по программным технологиям в AWS Annapurna Labs (подразделение, выпускающее собственные чипы Amazon), сказал TechCrunch по электронной почте: вы строите на AWS и не делаете ставку на поставщика вычислений с единственной функцией, вокруг которого потом приходится спешно строить всё остальное. По его словам, на AWS инфраструктура для перехода от прототипа к продакшену уже есть.

AWS утверждает, что облако сэкономит стартапам деньги, даже если у AWS не самая низкая цена за токен: один и тот же чип выполняет и обучение, и инференс (запуск готовой модели) и тесно встроен в облачную инфраструктуру. Брейс привёл пример Deepgram, поставщика голосовых ИИ-приложений и конкурента ElevenLabs: компания перешла на Trainium с помощью штатной поддержки PyTorch и обрабатывает на 70% больше аудио за доллар при точности продакшен-уровня.

Кроме того, Amazon заявляет, что вносит изменения в сам PyTorch: вместе с сообществом убирает код, привязывающий фреймворк к конкретным чипам. Цель, как сказано в блоге компании, сделать PyTorch более независимым от оборудования для всего сообщества разработчиков, а не только для пользователей Trainium.

Автор TechCrunch оценивает это сдержанно. Такая тактика выгодна тем, кто продаёт железо и облака, конкурирующие с Nvidia, но смысл PyTorch как раз в том, чтобы скрывать от разработчика сложности запуска кода на разном оборудовании. Придётся подождать и увидеть, даст ли вытеснение Nvidia из PyTorch больше выбора и более доступные варианты, как обещает Amazon, или лишь больше проблем с настройкой. Если же Amazon удастся глубоко отвязать PyTorch от Nvidia, последствия для производителя GPU могут оказаться куда серьёзнее, чем просто появление конкурентов-чипмейкеров.

Ключевые факты

  • AWS выпустила TorchNeuron: по словам Amazon, приложения на PyTorch запускаются на чипе Trainium при изменении одной строки конфигурации, без переписывания кода.
  • По данным Amazon, около 85% ИИ-приложений написаны на PyTorch; Nvidia закрепилась в нём через поддержку CUDA.
  • Amazon вносит в основной проект PyTorch изменения, убирающие код, привязанный к конкретным чипам.
  • Как пример AWS назвала Deepgram: на 70% больше обработанного аудио за доллар при точности продакшен-уровня.
  • Перенос PyTorch-приложений на AMD и чипы Apple уже возможен простой правкой конфигурации, так что Amazon не первая.

Почему это важно

Преимущество Nvidia держится не только на железе, но и на программной среде: CUDA годами подстраивалась под PyTorch, и оборудование Nvidia оказалось встроено в фреймворк практически по умолчанию. Если, по словам Amazon, на PyTorch написано около 85% ИИ-приложений, то снижение цены перехода на другой чип бьёт именно по этой привязке. Автор TechCrunch отмечает: если Amazon удастся глубоко отвязать PyTorch от Nvidia, последствия для производителя GPU будут серьёзнее, чем просто конкуренция с другими чипами.

Кому это важно

Прежде всего ИИ-стартапам и командам, чьи приложения уже написаны на PyTorch и которые выбирают, где их запускать. Также важно поставщикам облачных вычислений, в том числе неооблакам вроде CoreWeave, Nebius и Firmus, которых AWS прямо называет менее выгодным вариантом, и всем, кто следит за положением Nvidia на рынке ИИ-оборудования.

Как это применить

Если приложение написано на PyTorch, по заявлению Amazon, для запуска на Trainium достаточно изменить одну строку конфигурации; TorchNeuron адаптирован из PyTorch, так что привычные навыки сохраняются. Цена TorchNeuron и инстансов Trainium, а также лицензия инструмента в материале не названы, поэтому экономику придётся считать самостоятельно. AWS сама оговаривает, что не предлагает самую низкую цену за токен, и делает упор на совокупной стоимости: один чип для обучения и инференса плюс интеграция с облаком.

Можно ли доверять

Ключевые цифры и обещания исходят от самой Amazon: одна строка конфигурации, доля PyTorch около 85%, рост Deepgram на 70% аудио за доллар (сообщил сотрудник AWS Колин Брейс). Независимых проверок или бенчмарков в материале нет, как и реакции Nvidia или Linux Foundation. Исходная точка для 70%, прежняя конфигурация Deepgram, не названа. Материал TechCrunch содержит и собственные оценки автора, помеченные как ожидание, а не факт.

Риски и подводные камни

Автор TechCrunch предупреждает, что смысл PyTorch, прятать сложности запуска на оборудовании, и непонятно, получат ли разработчики больше выбора и доступных вариантов или лишь больше проблем с настройкой. Не сказано, какое поколение Trainium поддерживается, в какие сроки изменения попадут в PyTorch и будут ли приняты его сопровождающими. Кроме того, привязка к облаку AWS, это тоже зависимость от поставщика, хотя Amazon подаёт шаг как избавление от lock-in (привязки к поставщику).

«Главное, избавиться от привязки, из-за которой у разработчиков вообще не было реального выбора.»

— Колин Брейс, вице-президент по программным технологиям в AWS Annapurna Labs

Компания Meta Platforms признана экстремистской организацией, её деятельность на территории РФ запрещена.