Vals AI проверила китайские нейросети: уклон к линии Пекина ниже ожидаемого

Компания Vals AI, занимающаяся бенчмарками для ИИ, задала китайским, американским и другим языковым моделям сотни вопросов о Китае. В разных тестах менялись язык запроса, контекст использования и формат ответа. Измеряемое совпадение с позицией китайских властей Vals называет «pro-China lean» (проправительственный уклон в пользу Китая). Шкала идёт от −1 до +1: положительные значения означают большее согласие с официальными позициями или проправительственную позицию, отрицательные, более критичные ответы.

В целом проправительственный уклон китайских моделей оказался ниже ожидаемого, говорит Vals, хотя отдельные модели сильно различаются. Например, GLM-5.3 Flash на прямой вопрос подтвердила, что нарушения прав человека в Китае хорошо задокументированы. В то же время некоторые некитайские модели время от времени совпадали с официальной позицией Китая по политическим вопросам.

Язык запроса заметно влияет на ответы. У большинства протестированных моделей ответы на упрощённом китайском были более проправительственными, чем на английском, русском или испанском. Эффект проявился и у китайских, и у американских моделей, но у китайских был намного сильнее. Между упрощённым китайским (материковый Китай) и традиционным (распространён на Тайване и в Гонконге) Vals нашла меньший, но устойчивый разрыв. Vals предполагает, что модели выводят ожидаемую точку зрения из самого языка. Это подкрепляет второй эксперимент: когда в системном промпте говорилось, что модель используется внутри компании на материковом Китае, некоторые модели отвечали более проправительственно, чем при указании на использование в США.

Предположение, что китайские модели в основном блокируют острые вопросы, подтвердилось в тестах Vals только для отдельных моделей DeepSeek. Большинство остальных китайских моделей отказывались отвечать редко, зато иногда принимали официальную позицию. Kimi K3 на вопрос отрицала существование концлагерей для уйгуров в Синьцзяне и называла эти учреждения центрами профессионального обучения для борьбы с экстремизмом и терроризмом.

Формат ответа тоже меняет результат: когда GLM-5.3 Flash и MiMo V2.6 Pro нужно было отвечать на политические вопросы просто «да» или «нет», а не развёрнуто, их оценки становились заметно менее проправительственными. Встраивание в агентную среду действовало похоже. Когда Vals давала китайским моделям системные инструкции и описания инструментов для ассистентов по программированию, у нескольких оценка по проправительственной шкале падала, хотя инструментами они почти не пользовались. То же случилось при доступе к веб-поиску: ответы стали менее проправительственными, хотя модели ни разу не искали в сети.

Перенос выводов на повседневное использование остаётся открытым вопросом. По словам Vals, в реалистичных рабочих задачах политические тенденции гораздо труднее заметить, чем в целевых тестовых вопросах, но отдельные примеры нашлись. При переводе списка кодов стран для туристического приложения на упрощённый китайский большинство моделей написали «Тайвань» без уточнений, а Qwen3.8 Max, «Тайвань, Китай»; такая формулировка подразумевает принадлежность Тайваня Китаю и используется китайскими властями. Графическая модель OpenAI GPT Image 2.5 Sunburst в опубликованных Vals примерах карт при запросе на китайском подписала Тайвань как «провинцию Тайвань» и добавила спорную «линию девяти пунктиров», которой Пекин обозначает территориальные претензии в Южно-Китайском море. В показанном результате на английском этих элементов не было.

Целевая дообучка тоже меняет поведение. Thomson 1.0 Small, модель, дообученная Thomson Reuters на основе Qwen3.6 35B, в тестах гораздо реже принимала официальные китайские позиции, чем исходная Qwen3.6 35B: доля упала с 84,6 до 15,0 процента. Но отдельные ответы всё равно защищали принцип «одного Китая» и «мирное воссоединение» с Тайванем.

Ограничения методики. Vals использовала политические тестовые вопросы, которые, по словам компании, не репрезентативны для типичных запросов пользователей. Вопросы переводили с помощью GPT-6 Astra с выборочной проверкой, ответы оценивала автоматически GPT-5.6 Luna. Отказы по умолчанию считались нейтральными, поэтому даже модель, блокирующая все вопросы, могла выглядеть на шкале нейтральной. Многие китайские модели тестировали через сторонних провайдеров, а не через официальные сервисы производителей; официальные версии могут применять дополнительные фильтры контента, так что результаты не обязательно переносятся на публично доступные чат-боты. Ранее исследования Aleph Alpha и NewsGuard уже показали, что китайские модели часто повторяют официальные нарративы по чувствительным темам; кроме того, китайские правила требуют от публично предлагаемых ИИ-сервисов соответствия «основным социалистическим ценностям».

Ключевые факты

Vals AI задала китайским, американским и другим моделям сотни вопросов о Китае, меняя язык, контекст и формат ответа; уклон измерялся по шкале от −1 до +1.
Проправительственный уклон китайских моделей в целом ниже ожидаемого, но модели сильно различаются; некоторые некитайские модели иногда совпадали с позицией Пекина.
На упрощённом китайском ответы у большинства моделей более проправительственные, чем на английском, русском или испанском; у китайских моделей эффект заметно сильнее.
Большинство китайских моделей редко отказывались отвечать, а чаще принимали официальную позицию (Kimi K3 отрицала концлагеря для уйгуров); блокировали вопросы лишь отдельные модели DeepSeek.
Дообученная Thomson Reuters модель Thomson 1.0 Small снизила долю ответов в духе официальной позиции Китая с 84,6 до 15,0 процента относительно Qwen3.6 35B.

Почему это важно

Распространено мнение, что китайские нейросети либо повторяют линию Пекина, либо отказываются отвечать на острые вопросы. Исследование Vals AI показывает картину сложнее: уклон сильно зависит от конкретной модели, языка запроса, контекста использования и формата ответа, а отказы характерны лишь для отдельных моделей DeepSeek. Кроме того, политические сдвиги встречаются и у некитайских моделей.

Кому это важно

Тем, кто применяет китайские и западные модели в продуктах для разных языковых аудиторий, например при переводе или генерации карт, и тем, кто оценивает такие модели на предвзятость. Также исследователям и редакциям, которые сравнивают поведение моделей на разных языках.

Как это применить

Если политическая нейтральность результата важна, проверяйте модель на нужном языке запроса, а не только на английском: по данным Vals, на упрощённом китайском ответы чаще звучат проправительственно. Учитывайте, что на результат влияют системный промпт с указанием места использования, формат ответа (развёрнутый или «да/нет») и агентная обвязка. Для практических задач вроде перевода списков стран полезно проверять спорные формулировки вроде «Тайвань, Китай» вручную.

Можно ли доверять

Результаты нужно читать с оговорками, которые называет сам источник. Vals использовала политические вопросы, нерепрезентативные для типичных запросов; вопросы переводились GPT-6 Astra с выборочной проверкой, а ответы оценивала автоматически GPT-5.6 Luna. Отказы считались нейтральными, и модель, блокирующая всё, могла выглядеть нейтральной. Многие китайские модели тестировали через сторонних провайдеров, а не официальные сервисы, поэтому результаты не обязательно переносятся на публичные чат-боты. Точное число вопросов и полный список моделей в статье не приведены, как и оценки по отдельным моделям, за исключением сравнения Thomson 1.0 Small и Qwen3.6 35B.

Риски и подводные камни

Оценка зависит от автоматической проверки другой моделью и от того, как трактуются отказы. Влияние языка, системного промпта и формата ответа означает, что один и тот же вывод по модели в разных условиях может выглядеть по-разному. В реалистичных рабочих задачах политические тенденции труднее заметить, но отдельные случаи всё же есть, например перевод «Тайвань, Китай» у Qwen3.8 Max. Дообучка снижает уклон, но не убирает его полностью: часть ответов Thomson 1.0 Small по-прежнему защищала принцип «одного Китая».