Опубликован отчёт о Xing 4: модель на 285 млрд параметров обучена на 8192 картах Ascend 910C

Опубликован отчёт о Xing 4: модель на 285 млрд параметров обучена на 8192 картах Ascend 910C

На странице Hugging Face Papers опубликован технический отчёт о Xing 4, серии больших языковых моделей, которая развивает линейку TeleChat. Авторы связывают её с согласованными улучшениями архитектуры моделей и обучающей инфраструктуры на оборудовании Ascend. Отчёт описывает принципы проектирования и системную инженерию серии на трёх этапах: выбор архитектуры, крупномасштабное предобучение, а также post-training (дообучение) на рассуждения и агентные задачи.

В архитектурной части авторы изучают, как разреженная активация (sparse activation), устройство механизма внимания, глубина и ширина модели и спекулятивное декодирование сбалансированы между ёмкостью модели, объёмом вычислений, обращениями к памяти и накладными расходами на выполнение.

Инфраструктура предобучения построена на MindSpore HyperParallel. Она сочетает гибридное шардирование с учётом топологии сети, эффективное выполнение распределённого оптимизатора и согласованное управление рабочими нагрузками с длинными последовательностями и памятью активаций. Привязка процессов к ядрам CPU (CPU affinity) и изоляция ядер дополнительно снижают помехи от планировщика на хосте. По словам авторов, вместе эти механизмы позволили предобучить модель на 285 млрд параметров на 8192 картах Ascend 910C; это служит конкретным примером для архитектурных и системных исследований в отчёте.

Для post-training авторы представляют TeleGym, единую платформу исполнения агентов. Она связывает выполнение заданий, оценку и построение траекторий с оптимизацией политики. Раздельное асинхронное исполнение, ограниченная избыточная выборка (bounded oversampling) и частичные прогоны (partial rollout) позволяют справляться с задачами разной длительности и сохранять непрерывность траекторий при обновлениях политики.

Итог, по формулировке авторов: эти наработки закладывают основу для обучения на Ascend, на которой Xing 4 будет развиваться дальше, на разных масштабах моделей и при всё более сложных нагрузках на рассуждение и агентов.

Ключевые факты

  • Xing 4, серия больших языковых моделей, продолжающая линейку TeleChat; отчёт охватывает выбор архитектуры, предобучение и post-training на рассуждения и агентные задачи.
  • Предобучение модели на 285 млрд параметров прошло на 8192 картах Ascend 910C с инфраструктурой на MindSpore HyperParallel.
  • Среди приёмов инфраструктуры: гибридное шардирование с учётом топологии, эффективный распределённый оптимизатор, управление длинными последовательностями и памятью активаций, привязка к ядрам CPU и их изоляция.
  • TeleGym, единая платформа исполнения агентов для post-training: связывает выполнение, оценку и построение траекторий с оптимизацией политики.
  • Асинхронное раздельное исполнение, ограниченная избыточная выборка и частичные прогоны учитывают разную длительность задач и сохраняют непрерывность траекторий.

Почему это важно

Отчёт показывает, как на оборудовании Ascend и фреймворке MindSpore выстроен полный цикл: от выбора архитектуры и предобучения модели на 285 млрд параметров на 8192 картах Ascend 910C до агентного post-training. В одном документе соединены системная инженерия и обучение агентов. Оценить уровень самих моделей по этому тексту нельзя: результаты тестов и сравнения с другими моделями в нём не приведены.

Кому это важно

Инженерам, которые строят инфраструктуру обучения больших моделей, особенно на Ascend и MindSpore. Также исследователям агентного обучения с подкреплением, которых интересуют асинхронные схемы сбора траекторий, и тем, кто следит за развитием линейки TeleChat.

Как это применить

Практически можно использовать описанные идеи как ориентиры: гибридное шардирование с учётом топологии, управление памятью активаций при длинных последовательностях, привязку процессов к ядрам CPU и изоляцию ядер, а для агентного обучения, раздельное асинхронное исполнение, ограниченную избыточную выборку и частичные прогоны. Данных о выпуске весов или доступности TeleGym в источнике нет.

Можно ли доверять

Источник, аннотация отчёта на странице Hugging Face Papers; все утверждения, заявления самих авторов. Независимого подтверждения и цифр по качеству моделей в тексте нет: приведены лишь размер модели (285 млрд параметров) и число карт (8192 Ascend 910C). Подробности реализации придётся проверять по полному тексту отчёта.

Риски и подводные камни

В описании нет результатов тестов, сравнения с другими моделями, данных об объёме обучающих данных, длительности обучения и загрузке оборудования, поэтому эффективность подходов оценить трудно. Не указаны другие размеры моделей серии и устройство модели на 285 млрд параметров (например, плотная она или разреженная). Описанные приёмы привязаны к стеку Ascend и MindSpore, и перенос на другое оборудование может потребовать доработки.