Опубликован отчёт о Xing 4: модель на 285 млрд параметров обучена на 8192 картах Ascend 910C

На странице Hugging Face Papers опубликован технический отчёт о Xing 4, серии больших языковых моделей, которая развивает линейку TeleChat. Авторы связывают её с согласованными улучшениями архитектуры моделей и обучающей инфраструктуры на оборудовании Ascend. Отчёт описывает принципы проектирования и системную инженерию серии на трёх этапах: выбор архитектуры, крупномасштабное предобучение, а также post-training (дообучение) на рассуждения и агентные задачи.
В архитектурной части авторы изучают, как разреженная активация (sparse activation), устройство механизма внимания, глубина и ширина модели и спекулятивное декодирование сбалансированы между ёмкостью модели, объёмом вычислений, обращениями к памяти и накладными расходами на выполнение.
Инфраструктура предобучения построена на MindSpore HyperParallel. Она сочетает гибридное шардирование с учётом топологии сети, эффективное выполнение распределённого оптимизатора и согласованное управление рабочими нагрузками с длинными последовательностями и памятью активаций. Привязка процессов к ядрам CPU (CPU affinity) и изоляция ядер дополнительно снижают помехи от планировщика на хосте. По словам авторов, вместе эти механизмы позволили предобучить модель на 285 млрд параметров на 8192 картах Ascend 910C; это служит конкретным примером для архитектурных и системных исследований в отчёте.
Для post-training авторы представляют TeleGym, единую платформу исполнения агентов. Она связывает выполнение заданий, оценку и построение траекторий с оптимизацией политики. Раздельное асинхронное исполнение, ограниченная избыточная выборка (bounded oversampling) и частичные прогоны (partial rollout) позволяют справляться с задачами разной длительности и сохранять непрерывность траекторий при обновлениях политики.
Итог, по формулировке авторов: эти наработки закладывают основу для обучения на Ascend, на которой Xing 4 будет развиваться дальше, на разных масштабах моделей и при всё более сложных нагрузках на рассуждение и агентов.
Ключевые факты
- Xing 4, серия больших языковых моделей, продолжающая линейку TeleChat; отчёт охватывает выбор архитектуры, предобучение и post-training на рассуждения и агентные задачи.
- Предобучение модели на 285 млрд параметров прошло на 8192 картах Ascend 910C с инфраструктурой на MindSpore HyperParallel.
- Среди приёмов инфраструктуры: гибридное шардирование с учётом топологии, эффективный распределённый оптимизатор, управление длинными последовательностями и памятью активаций, привязка к ядрам CPU и их изоляция.
- TeleGym, единая платформа исполнения агентов для post-training: связывает выполнение, оценку и построение траекторий с оптимизацией политики.
- Асинхронное раздельное исполнение, ограниченная избыточная выборка и частичные прогоны учитывают разную длительность задач и сохраняют непрерывность траекторий.
Почему это важно
Отчёт показывает, как на оборудовании Ascend и фреймворке MindSpore выстроен полный цикл: от выбора архитектуры и предобучения модели на 285 млрд параметров на 8192 картах Ascend 910C до агентного post-training. В одном документе соединены системная инженерия и обучение агентов. Оценить уровень самих моделей по этому тексту нельзя: результаты тестов и сравнения с другими моделями в нём не приведены.
Кому это важно
Инженерам, которые строят инфраструктуру обучения больших моделей, особенно на Ascend и MindSpore. Также исследователям агентного обучения с подкреплением, которых интересуют асинхронные схемы сбора траекторий, и тем, кто следит за развитием линейки TeleChat.
Как это применить
Практически можно использовать описанные идеи как ориентиры: гибридное шардирование с учётом топологии, управление памятью активаций при длинных последовательностях, привязку процессов к ядрам CPU и изоляцию ядер, а для агентного обучения, раздельное асинхронное исполнение, ограниченную избыточную выборку и частичные прогоны. Данных о выпуске весов или доступности TeleGym в источнике нет.
Можно ли доверять
Источник, аннотация отчёта на странице Hugging Face Papers; все утверждения, заявления самих авторов. Независимого подтверждения и цифр по качеству моделей в тексте нет: приведены лишь размер модели (285 млрд параметров) и число карт (8192 Ascend 910C). Подробности реализации придётся проверять по полному тексту отчёта.
Риски и подводные камни
В описании нет результатов тестов, сравнения с другими моделями, данных об объёме обучающих данных, длительности обучения и загрузке оборудования, поэтому эффективность подходов оценить трудно. Не указаны другие размеры моделей серии и устройство модели на 285 млрд параметров (например, плотная она или разреженная). Описанные приёмы привязаны к стеку Ascend и MindSpore, и перенос на другое оборудование может потребовать доработки.