Tencent выпустила открытую модель Hy3: MoE-архитектура с конкурентностью к моделям в 2-5 раз больше
Компания Tencent из Китая выпустила Hy3, новую открытую языковую модель под лицензией Apache 2.0. Архитектура основана на Mixture-of-Experts (MoE) с общим размером 295 млрд параметров, из которых активны только 21 млрд. Дополнительно модель включает 3.8 млрд параметров в MTP layer. Контекстная длина составляет 256K токенов.
Модель представляет итоговую версию после Preview-релиза в апреле, когда разработчики собрали отзывы более чем от 50 продуктов и переобучили модель на более качественных данных. По сравнению с конкурентами аналогичного размера Hy3 показывает превосходство в производительности. Более значимо то, что модель конкурирует с крупными открытыми моделями, которые содержат в 2-5 раз больше параметров, и демонстрирует значительный прирост полезности для различных продуктов и задач производительности.
Полная версия модели на Hugging Face занимает 598 ГБ, квантованная версия FP8, 300 ГБ. До 21 июля Hy3 доступна бесплатно на платформе OpenRouter, что позволяет любому желающему протестировать модель.
Ключевые факты
- Hy3 содержит 295B параметров всего с 21B активными параметрами благодаря MoE-архитектуре, обеспечивая эффективность и производительность
- Модель превосходит аналогичные по размеру открытые модели и конкурирует с моделями в 2-5 раз большего размера
- Apache 2.0 лицензия делает модель полностью открытой и доступной для коммерческого использования
- Контекстное окно в 256K токенов позволяет работать с большими объёмами текста в одном контексте
- Бесплатный доступ на OpenRouter до 21 июля даёт возможность попробовать модель перед её интеграцией
Почему это важно
Появление открытой MoE-модели с конкурентной производительностью важно для разработчиков, которые хотят использовать продвинутые модели без закупки дорогостоящих проприетарных решений. Hy3 демонстрирует, что достаточно эффективная архитектура (MoE с 21B активных из 295B параметров) может достичь качества моделей, в несколько раз больших по размеру, снижая барьер входа и затраты на инфраструктуру.
Кому это важно
Разработчикам AI-приложений, исследователям в области LLM, компаниям, которые хотят обучить или адаптировать собственные модели, а также тем, кто нуждается в локальном или приватном запуске моделей. Open-source статус и полная лицензия Apache 2.0 делают Hy3 особенно интересной для организаций, избегающих зависимости от облачных API.
Как это применить
Модель можно загрузить с Hugging Face и запустить локально либо через OpenRouter до 21 июля (бесплатно). Для продакшена рекомендуется использовать квантованную версию FP8 (300 ГБ вместо 598 ГБ), которая требует меньше памяти на GPU. Контекст 256K позволяет использовать Hy3 для работы с документами, длинными цепочками рассуждений и задачами, где важна способность обрабатывать большой контекст.
Можно ли доверять
Информация исходит от Simon Willison, известного специалиста по AI, ведущего авторитетный блог про машинное обучение. Технические характеристики (размер параметров, контекст, размер файлов) легко верифицируются на Hugging Face и OpenRouter. Apache 2.0, проверенная и широко используемая открытая лицензия. Сам факт размещения на Hugging Face и доступа через OpenRouter подтверждает открытость модели.
Риски и подводные камни
MoE-архитектура требует специальную инфраструктуру для эффективного использования (не все фреймворки оптимально работают с MoE). Квантование FP8 может привести к небольшому снижению качества в сравнении с полной версией. Бесплатный доступ на OpenRouter закончится 21 июля, после чего может потребоваться локальный запуск или платные сервисы. Китайское происхождение может вызывать вопросы в некоторых организациях из-за потенциальных ограничений.
«Hy3 превосходит модели аналогичного размера и конкурирует с крупными открытыми моделями, которые содержат в 2-5 раз больше параметров. Модель также показывает значительный прирост полезности для различных продуктов и задач производительности.»
— Simon Willison / Tencent Hy Team