ИИтог

Amazon дистиллирует модели Anthropic перед переходом на новую ценовую модель

моделиРедакция ИИтогThe Decoder🔥78Рейтинг ИИтог · значимость 68 · 90909/ч
Amazon дистиллирует модели Anthropic перед переходом на новую ценовую модель

По данным The Information, инженеры Amazon активно дистиллируют модели Anthropic для создания более дешёвых и компактных версий для внутреннего использования. Дистилляция, это процесс, при котором меньшая модель учится на выходах большей. Amazon имеет права на такое использование моделей Claude, аналогично соглашению Apple с Google Gemini.

Причина срочности, рenegotiation партнёрства. Начиная со следующего года Amazon будет платить за модели Anthropic по тарифу, основанному на количестве обработанных токенов, а не на вычислительных ресурсах, что может значительно увеличить затраты. Хотя представитель Amazon заявил, что новые условия партнёрства не повысят стоимость, компания всё же подстраховывается.

Хотя Amazon предоставляет сервис дистилляции на своей облачной платформе Bedrock, модели Claude там недоступны, поддерживаются только собственные модели Nova и Llama от Meta. Компания также рассматривает альтернативы: переход на OpenAI или большее полагание на Nova. В 2024 году Amazon инвестировала до 25 млрд долларов в Anthropic и до 50 млрд долларов в OpenAI.

Ключевые факты

  • Amazon дистиллирует модели Claude для снижения расходов перед переходом на токен-ориентированную тарификацию
  • Новая схема оплаты (токены вместо вычислительных часов) может значительно повысить затраты
  • Моделей Claude нет в сервисе Bedrock, где доступны только Nova и Llama, что затрудняет официальную дистилляцию
  • Amazon инвестировала 25 млрд в Anthropic и 50 млрд в OpenAI в 2024 году и рассматривает переход на конкурентов
  • Дистилляция, законный способ оптимизации по условиям партнёрского соглашения, аналогичный аранжировке Apple и Google

Почему это важно

Переход на токен-ориентированную тарификацию, первый сигнал переговоров между гигантом облачных услуг и производителем моделей о балансе цены и производительности. Amazon, потратив десятки миллиардов на сотрудничество с Anthropic, не хочет резко расти расходы; дистилляция, реальный способ сохранить контроль над затратами при массовом использовании. Это отражает растущее давление на операционные расходы крупных AI-потребителей.

Кому это важно

Компаниям, использующим облачные API для масштабных AI-приложений: рост цен на большие модели подталкивает их к дистилляции. AWS-клиентам, потенциально, если Amazon расширит дистилляцию моделей Anthropic в Bedrock. Самой Anthropic, сигнал, что высокая цена за токены может побудить крупных потребителей минимизировать их обращение к оригинальным моделям.

Как это применить

Если вы платите за API крупной модели высокие суммы, дистилляция, стоящий вариант (нужно иметь права, как у Amazon). Меньшие модели (Nova, Llama) часто дешевле готовых и тренировать проще; их прямое использование может быть дешевле, чем дистиллировать большую модель. Amazon рекомендует смотреть на Nova как на альтернативу Claude в Bedrock, это дешевле и построено для облачных сценариев.

Можно ли доверять

Данные исходят от The Information, издания с хорошей репутацией в сфере tech-инсайдов; говорят анонимные источники, близкие к Anthropic. Обе компании официально откомментировали события: Amazon отрицает рост расходов, Anthropic указывает на лучшее качество своих моделей на токен. Тог цен и условий рenegotiation не публичны, но сам факт дистилляции и переход на токен-модель (вместо compute-hours) кажутся достоверными.

Риски и подводные камни

Дистиллированные модели теряют мощь исходной, они могут не справиться с задачами, требующими полного потенциала Claude. Если Amazon перейдёт на Nova или OpenAI, это сигнализирует о возможной потере крупного клиента для Anthropic. Для разработчиков, растущий фрагмент рынка: если каждый облачный провайдер толкает свои модели, выбирать инструмент станет сложнее. Токен-ориентированная тарификация в целом может вызвать скачок расходов для всех потребителей больших моделей, если конкуренты последуют за Anthropic.

«Озабоченные растущими расходами, некоторые инженеры Amazon уже дистиллируют модели Anthropic, чтобы построить более компактные и дешёвые версии для внутреннего использования.»

— The Information (цитирование источника)