ИИтог

Модели Hugging Face появились в Microsoft Foundry Managed Compute

инфраструктураРедакция ИИтогHugging Face🔥73Рейтинг ИИтог · значимость 62 · 71429/ч
Модели Hugging Face появились в Microsoft Foundry Managed Compute

Microsoft Foundry, платформа для разработки и эксплуатации агентных ИИ-приложений: единая точка входа и общий набор SDK (Python, C#, JavaScript, Java) к моделям Microsoft, OpenAI, Anthropic, Meta, Mistral, DeepSeek, Hugging Face и других. Поверх моделей работает Foundry Agent Service, оркестрация мультиагентных сценариев с памятью, подключением знаний через Foundry IQ и каталогом инструментов; отдельно есть трассировка, мониторинг, оценки качества и оптимизатор промптов, а также фильтры контента, guardrails на соблюдение задачи, агент для red-team тестирования, единый RBAC, приватные сети и интеграция с Azure Policy.

К двум существовавшим вариантам развёртывания, оплате за токен и выделенной пропускной способности, добавлен третий: Foundry Managed Compute, управляемая GPU-платформа для открытых и кастомных моделей. Разработчик описывает нужный инстанс в терминах модели (число параметров, длина контекста, приоритет, задержка или пропускная способность), а Microsoft берёт на себя топологию GPU, обновления контейнеров, апгрейды рантаймов и патчи безопасности на поддерживаемых движках, vLLM, SGLang, TensorRT-LLM, NIM, TEI, llama.cpp, без передеплоя модели. Все три способа развёртывания используют один endpoint, одни SDK, единую аутентификацию, наблюдаемость и единый счёт. Managed Compute поддерживает глобальные развёртывания (максимум мощностей, лучшая цена) и Data Zone-развёртывания (резидентность и суверенитет данных); квоты привязаны к семействам ускорителей, так что план, построенный на H100, переносится на новые поколения железа.

Пояснение, зачем в этой схеме нужен именно Hugging Face: это «публичная площадь» открытого ИИ, 15 млн разработчиков, 400 тыс. организаций, свыше 3 млн опубликованных открытых моделей, еженедельно появляются новые возможности (агентный код, сегментация видео, речь, эмбеддинги). Открытые модели по бенчмаркам догнали проприетарные и дают то, чего нет у закрытых endpoint-ов: полные веса позволяют дообучать, дистиллировать, квантовать и адаптировать через LoRA; модель размещается в собственном тенанте и сети заказчика; можно платить за ускорители почасово и скейлиться в ноль; можно зафиксировать конкретную версию модели и откатываться при необходимости. Проблема в том, что сам Hugging Face, не корпоративная платформа обслуживания: заказчику приходится самому искать модель, проверять лицензию и безопасность, выбирать рантайм, подбирать GPU, собирать образ и патчить уязвимости. Именно этот операционный слой теперь берёт на себя Microsoft.

Коллекция Hugging Face в каталоге моделей Foundry, куратированное подмножество моделей: обновляется еженедельно, покрывает все модальности (текст, зрение, аудио, мультимодальные модели, LLM и VLM для чатов и агентов, распознавание и перевод речи, эмбеддинги, сегментация, генерация изображений), поставляется только в формате Safetensors без непроверенного исполняемого кода, и для каждой модели подобран подходящий рантайм. Прежде чем модель попадает в каталог, она проходит пятиэтапный конвейер: (1) отбор трендовых моделей по сигналам сообщества, запросам партнёров и клиентов; (2) проверка лицензии на соответствие корпоративной политике распространения Microsoft и сканирование репозитория на паттерны trust_remote_code, модели, которым для загрузки нужно выполнять сторонний Python-код, либо дорабатываются, либо исключаются; (3) сборка, сканирование на CVE, подпись и публикация образов рантайма в управляемом Microsoft реестре контейнеров; (4) веса один раз скачиваются с Hugging Face, сверяются с карточкой модели и сохраняются в управляемом Azure-хранилище в тех регионах, где модель будет обслуживаться; (5) валидация каждой комбинации модель+рантайм+ускоритель на соответствие API (chat completions, эмбеддинги, reranking) и на производительность (задержка, пропускная способность, время до первого токена), после чего модель публикуется в каталоге с кнопкой деплоя в один клик. Поскольку веса заранее размещены в Azure, а образы, в собственном реестре Microsoft, развёртывание не требует исходящего доступа к Hugging Face Hub и может целиком работать в закрытой сети.

Список поддерживаемых рантаймов: vLLM, рантайм по умолчанию для высокопроизводительной генерации; поскольку Hugging Face, прямой контрибьютор vLLM, любая модель из библиотеки Transformers работает на нём «из коробки» и появляется на Foundry в день публикации на Hugging Face. SGLang, рантайм с сильной поддержкой структурированного вывода (JSON, регулярные выражения, грамматики), важной для агентных сценариев; Hugging Face и команда SGLang сделали для него собственную интеграцию с Transformers с тем же эффектом «в день публикации». Text Embeddings Inference (TEI), рантайм для моделей эмбеддингов, ре-ранжирования и классификации, с образами под конкретное железо. llama.cpp, путь для CPU и маленьких GPU с GGUF-квантованными моделями и тем же OpenAI-совместимым API. TensorRT-LLM и NIM, используются на NVIDIA-железе там, где оптимизированные ядра NVIDIA дают заметный выигрыш по задержке или пропускной способности. hf-serve, собственный многомодельный сервер Hugging Face для архитектур вне быстрых путей LLM и эмбеддингов (зрение, аудио, сегментация и другие пайплайны Transformers).

Развёртывание модели описано как пять шагов: выбрать модель в каталоге (мастер деплоя также показывает id модели, id шаблона развёртывания и тип ускорителя, для тех, кто скриптует деплой через SDK или REST); выбрать шаблон развёртывания, именованный версионированный набор настроек, фиксирующий рантайм, семейство и число ускорителей, длину контекста и тонкую настройку под конкретную модель (например, у qwen3-32b есть четыре таких шаблона); задать число инстансов для масштабирования пропускной способности; выполнить деплой из портала, CLI, SDK или REST; обращаться к модели через единый endpoint Foundry тем же SDK, что и к остальным моделям платформы. В посте приведён пример на Python SDK: через CognitiveServicesManagementClient вызывается managed_compute_deployments.begin_create_or_update с указанием SKU GlobalManagedCompute, идентификатора модели azureml://registries/azure-huggingface/models/qwen--qwen3-32b/versions/1 и шаблона qwen--qwen3-32b--40k-nvidia-h100.

Ключевые факты

  • Microsoft и Hugging Face запустили «Коллекцию Hugging Face», куратированное подмножество открытых моделей внутри каталога моделей Foundry, обновляемое еженедельно и охватывающее все модальности (текст, зрение, аудио, эмбеддинги, генерация изображений).
  • Foundry Managed Compute, третий вариант развёртывания в Foundry (наряду с оплатой за токен и выделенной пропускной способностью): управляемая GPU-платформа, где Microsoft берёт на себя топологию GPU, обновления рантаймов (vLLM, SGLang, TensorRT-LLM, NIM, TEI, llama.cpp) и патчи безопасности.
  • Прежде чем попасть в каталог, каждая модель проходит пятиэтапный конвейер: отбор трендовых моделей, проверку лицензии и сканирование на trust_remote_code, сборку и сканирование образов рантайма на CVE, перенос весов в управляемое Azure-хранилище и валидацию по API и производительности.
  • Веса и образы рантайма заранее размещаются в инфраструктуре Microsoft, поэтому развёртывание модели не требует исходящего сетевого доступа к Hugging Face Hub, модель можно поднять целиком в закрытой сети.
  • Модели Hugging Face используют единый endpoint, единый набор SDK, единую аутентификацию, наблюдаемость и биллинг вместе с фронтир-моделями Foundry, включая работу в мультиагентных сценариях Foundry Agent Service.

Почему это важно

Главная проблема открытых моделей для корпоративных заказчиков, не сами веса, а операционный слой вокруг них: поиск подходящей модели, проверка лицензии и безопасности, выбор рантайма, подбор GPU, сборка образа и патчинг уязвимостей. Hugging Face сам по себе, по признанию авторов поста, не является корпоративной платформой обслуживания. Партнёрство закрывает именно этот разрыв: Microsoft берёт на себя куратирование, сборку и обслуживание открытых моделей и подаёт их через тот же единый endpoint, SDK и биллинг, что и фронтир-модели вроде GPT или Claude, то есть открытая и закрытая модели становятся равноправными пунктами одного каталога.

Кому это важно

Прежде всего, командам платформенной инженерии и ML-инженерам в компаниях на Azure, которым нужно развернуть открытые модели (LLM, VLM, эмбеддинги, распознавание речи) без содержания собственной GPU-инфраструктуры. Также это важно регулируемым отраслям, которым нужна резидентность данных (Data Zone-развёртывания), и разработчикам агентных приложений, которым нужно мешать открытые и закрытые модели в одном мультиагентном сценарии без отдельного пути интеграции. Косвенно это касается и авторов моделей на Hugging Face, их публикации, при соответствии критериям, могут в тот же день попасть на путь к enterprise-развёртыванию.

Как это применить

Развёртывание описано как пять шагов: выбрать модель в каталоге Foundry, выбрать шаблон развёртывания (фиксирует рантайм, семейство ускорителей, длину контекста, например, у qwen3-32b их четыре), задать число инстансов, задеплоить через портал, CLI, SDK или REST и обращаться к модели через единый endpoint тем же SDK, что и к остальным моделям Foundry. В посте приведён конкретный пример на Python SDK, вызов CognitiveServicesManagementClient.managed_compute_deployments.begin_create_or_update с SKU GlobalManagedCompute и указанием модели и шаблона для qwen3-32b на связке с NVIDIA H100.

Можно ли доверять

Материал, официальный совместный пост Microsoft и Hugging Face в блоге Hugging Face, то есть маркетинговое анонс-объявление, а не независимый обзор. Изложенные технические детали (список рантаймов, этапы конвейера курирования, форматы весов) конкретны и проверяемы техническими средствами, но оценки преимуществ («SOTA теперь открыт», удобство и экономия), позиция сторон партнёрства, а не результат независимого тестирования. К заявлениям о выгоде и безопасности стоит относиться как к вендорской презентации нового продукта.

Риски и подводные камни

Несмотря на риторику «ваша модель, ваш хостинг», веса моделей физически переносятся не из Hugging Face Hub напрямую, а из управляемого Microsoft хранилища Azure, что привязывает развёртывание к экосистеме Azure/Foundry. Доступность моделей ограничена темпом куратирования Microsoft (еженедельное обновление коллекции), не любая модель с Hugging Face немедленно доступна в Foundry. Managed Compute, управляемая платформа, а значит меньше гибкости, чем при самостоятельном хостинге, а стоимость почасовой аренды ускорителей остаётся на заказчике. Отдельно стоит учитывать, что часть заявленных преимуществ (скорость выхода новых моделей «в тот же день», выигрыш производительности рантаймов), прогнозные утверждения производителя, подтверждаемые только собственными данными Microsoft и Hugging Face.