Nous Research выпустила Arete-27B: из Qwen3.8-27B убрали китайскую пропаганду

Nous Research выпустила Arete-27B: из Qwen3.8-27B убрали китайскую пропаганду

Nous Research, американский стартап, известный открытым агентом Hermes, дообучила модель Qwen3.8-27B от Alibaba, чтобы убрать из её ответов китайскую государственную пропаганду. Получившаяся модель с открытыми весами называется Arete-27B. Она, как сказано в источнике, обещает «западные ценности» вместо линии пекинской партии.

Исходный тезис Nous: китайские модели с открытыми весами входят в число сильнейших из доступных, но несут «вшитое» в веса поведение, продиктованное государством. На Qwen3.8-27B команда наблюдала отказы отвечать, уклончивые ответы и ответы в духе Коммунистической партии Китая.

Для проверки Nous собрала собственный тест из 803 запросов в семи категориях: свобода слова, государственная идеология, образование, приватность и слежка, демократия, окружающая среда и другие. К каждому запросу команда определила от двух до четырёх фактов из датированного источника: законов, новостных сообщений или научных работ. Судьёй выступает Grok 4.7 от xAI Илона Маска, которую источник называет политически правой; судья проверяет, упомянуты ли факты, пропущены или опровергнуты. Ответ считается пропагандой, если воспроизводит официальную версию Пекина вместо фактов, одобряет её или подаёт как равноправную точку зрения. Судья обязан процитировать конкретные формулировки и не знает, какая модель писала ответ.

Базовая Qwen3.8-27B получила 2,32 из 5 за фактическую точность, и 22% её ответов содержали пропаганду. Западные модели Mistral Large 4 и Gemma 4 31B показали менее одного процента, GLM-5.3 и DeepSeek V4.1 Flash, 15 и 16%.

Учителем Nous выбрала открытую модель Inkling от Thinking Machines Lab: она не нарушает условия использования, запрещающие дистилляцию. В шорт-листе была и Nemotron 3 Ultra от Nvidia, но Nous заметила признаки отклонений в темах, связанных с Китаем. Команда предполагает, что смещение перешло из обучения на китайских открытых моделях, и сообщает о похожем «загрязнении» в собственных проектах. При этом Thinking Machines сама использовала для синтетических данных Inkling модели, включая китайскую Kimi K2.5.

Обучение, только контролируемое дообучение (SFT) примерно на 53 млн токенов за две эпохи, без обучения с подкреплением и оптимизации предпочтений. Команда говорит, что заранее убрала пересечения обучающих и тестовых запросов.

Результат: у Arete-27B фактическая точность 2,98, доля пропагандистских ответов, 0,9% (во вводке источника, «менее одного процента»). Сильнее всего сдвиг в категории свободы слова: оценка фактов выросла с 0,89 до 2,44, доля пропаганды упала с 60% до 1%. С включённым режимом рассуждений Arete набирает 3,07, но это пока по двум из пяти прогонов.

Общие способности, по словам Nous, не пострадали: на внутреннем Hermes Bench Arete-27B набрала 65,60% против 65,77% у базовой модели. На Terminal-Bench 2.1 результат вырос с 67 до 70%, но Nous не считает это настоящим приростом, так как условия тестов различались. Вывод команды: «слой предвзятости в китайской модели неглубок».

В контексте источник напоминает, что смещение китайских моделей описано и раньше: по данным NewsGuard (2025), пять ведущих моделей, включая Qwen, в 60% случаев повторяли или не исправляли прокитайскую дезинформацию; CrowdStrike обнаружила, что DeepSeek пишет менее безопасный код, если в запросе упомянуты Фалуньгун, Тибет или Тайвань; исследование Aleph Alpha на 967 политически чувствительных вопросах показало, что у моделей Alibaba, DeepSeek и Moonshot AI сбалансированными были лишь 17-41% ответов. Свежее исследование ValsAI показывает, что китайские модели ведут себя по-разному: GLM-5.3 Flash прямо подтвердила нарушения прав человека, а Kimi K3 отрицала существование лагерей для интернированных. Язык и формат ответа заметно влияли на результат, а иногда официальные позиции Пекина перенимали и западные модели.

Arete означает смену курса для Nous: Hermes 3 в 2024 году был намеренно нейтральным и подстраивался под мировоззрение из системного промпта. В октябре Nous привлекла $90 млн в раунде серии B при оценке $1,5 млрд; лидировал Robot Ventures, участвовали Nvidia и Samsung. Деньги идут на выход в корпоративные продажи с продуктом «Hermes for Businesses». Веса, тестовый набор и обучающие данные Arete-27B опубликованы на Hugging Face под лицензией Apache 2.0.

Ключевые факты

  • Nous Research дообучила Qwen3.8-27B от Alibaba с учителем Inkling: около 53 млн токенов, две эпохи, только SFT, без обучения с подкреплением.
  • На собственном тесте Nous из 803 запросов доля пропагандистских ответов упала с 22% до 0,9%, фактическая точность выросла с 2,32 до 2,98 (базовая оценка, из 5); в категории свободы слова пропаганда упала с 60% до 1%.
  • По данным Nous, общие способности не пострадали: Hermes Bench 65,60% против 65,77% у базовой модели.
  • Судья в тесте, Grok 4.7 от xAI, которую источник называет политически правой; западные Mistral Large 4 и Gemma 4 31B дали менее 1%, GLM-5.3 и DeepSeek V4.1 Flash, 15 и 16%.
  • Веса, тестовый набор и обучающие данные открыты на Hugging Face под лицензией Apache 2.0.

Почему это важно

Китайские модели с открытыми весами входят в число сильнейших доступных, и вопрос, насколько глубоко в них зашита государственная линия, напрямую влияет на то, можно ли использовать их как основу для своих продуктов. Nous утверждает, что смещение «тонкое»: оно накладывается поздно и снимается примерно полусотней миллионов токенов обучения, ничего не ломая под ним. Если это подтвердится, дообучение окажется дешёвым способом «очистки» таких моделей. Публикация весов, теста и обучающих данных позволяет это проверить.

Кому это важно

Разработчикам и компаниям, которые строят продукты на открытых моделях, в том числе китайских; исследователям, изучающим смещения и цензуру в моделях; тем, кто оценивает, откуда в моделях берётся политическое поведение. Для самой Nous Research это ещё и смена позиции: Hermes 3 в 2024 году был нейтральным, а Arete ориентирована на «западные ценности».

Как это применить

Веса Arete-27B, тестовый набор из 803 запросов и обучающие данные лежат на Hugging Face под лицензией Apache 2.0, так что модель можно взять как есть или воспроизвести рецепт на других моделях. Рецепт, по описанию источника: учитель Inkling, около 53 млн токенов, две эпохи, только контролируемое дообучение. Затраты на вычисления в источнике не названы.

Можно ли доверять

Все цифры о доле пропаганды и фактической точности получены на собственном тесте Nous из 803 запросов; независимого воспроизведения в источнике нет. Судья, Grok 4.7, которую источник иронично называет политически правой, а влияние этого на результат в материале не разбирается. Оценку 3,07 с режимом рассуждений Nous даёт лишь по двум из пяти прогонов. Прирост на Terminal-Bench 2.1 (с 67 до 70%) сама Nous не считает настоящим. Утверждение «общие способности не пострадали», слова Nous, подкреплённые её внутренним Hermes Bench. Материал, вторичный пересказ публикации Nous в The Decoder.

Риски и подводные камни

Само определение пропаганды задано Nous: ответ засчитывается как пропаганда, если повторяет официальную версию Пекина, одобряет её или подаёт как равноправную точку зрения. Это не нейтральная метрика. Судьёй выступает одна модель, и источник отдельно отмечает её политический уклон. Сама Nous замечает, что смещение просачивается и в западные модели (признаки в Nemotron 3 Ultra), поэтому «чистота» от происхождения модели не зависит. Исследование ValsAI показывает, что поведение китайских моделей неодинаково и зависит от языка и формата ответа, так что один тест не покрывает все случаи.

«Он накладывается поздно, накладывается тонко, и пятьдесят миллионов токенов тщательно подобранного обучения с учителем убирают его, не затрагивая ничего под ним.»

— Nous Research, о слое предвзятости в китайской модели