Исследование: китайские ИИ-модели сложнее, чем просто рупоры правительства

Китайские модели часто считают системами, которые либо повторяют официальную линию Пекина по чувствительным политическим вопросам, либо отказываются отвечать. Vals AI, компания, разрабатывающая бенчмарки для ИИ, проверила эту картину на сотнях вопросов о Китае. В тестах участвовали китайские, американские и другие языковые модели; исследователи меняли язык запроса, контекст использования и формат ответа.

Vals назвала измеряемый уровень согласия с позицией китайского правительства «склонностью в пользу Китая». Оценки идут от −1 до +1: положительные значения означают большее согласие с официальной позицией или поддержку правительства, отрицательные — более критичные ответы.

По оценке Vals, китайские модели в целом реже поддерживали позицию правительства, чем ожидали исследователи, хотя результаты отдельных моделей заметно различались. Например, GLM-5.3 Flash прямо подтвердила, что нарушения прав человека в Китае хорошо задокументированы. В то же время некоторые модели из других стран иногда соглашались с официальной позицией китайского правительства по политическим вопросам.

На ответы влияет язык запроса

Язык промта заметно менял политическую окраску ответов. У большинства проверенных моделей ответы на упрощённом китайском чаще поддерживали позицию правительства, чем ответы на английском, русском или испанском. Эффект проявился и у китайских, и у американских моделей, но у китайских был гораздо сильнее. Vals также обнаружила менее выраженную, но устойчивую разницу между упрощённым китайским, распространённым в материковом Китае, и традиционным китайским, которым пользуются на Тайване и в Гонконге.

Vals предполагает, что языковая модель может выводить ожидаемую точку зрения из самого языка запроса. Это предположение поддержал другой эксперимент: некоторые модели отвечали более провластно, если системный промт сообщал, что их используют внутри компании в материковом Китае, а не в США.

Модели иногда отвечают вместо отказа

Предположение, что китайские модели в основном блокируют чувствительные вопросы, подтвердилось в тестах Vals только для некоторых моделей DeepSeek. Большинство остальных китайских моделей редко отказывались отвечать и иногда вместо этого придерживались официальной позиции правительства. Например, Kimi K3 отрицала существование лагерей для уйгуров в Синьцзяне и называла эти учреждения центрами профессионального обучения, созданными для борьбы с экстремизмом и терроризмом.

На результаты влиял и формат ответа. Когда модели просили ответить на политический вопрос только «да» или «нет», вместо развёрнутого ответа, GLM-5.3 Flash и MiMo V2.6 Pro заметно реже поддерживали позицию правительства.

Менялись ответы и при использовании моделей в агентном фреймворке. Vals давала китайским моделям системные инструкции и описания инструментов для помощников по программированию. Несколько моделей после этого получили более низкие оценки склонности в пользу Китая, хотя инструменты почти не использовали. Похожий эффект возникал, когда исследователи открывали моделям доступ к веб-поиску: ответы становились менее провластными, даже если модели так и не искали информацию в интернете.

Официальные формулировки встречались и в обычных задачах

Пока неясно, насколько результаты относятся к повседневному использованию моделей. По данным Vals, в более реалистичных рабочих задачах политические предпочтения обнаружить было труднее, чем в специально составленных тестовых вопросах. Однако компания нашла отдельные примеры.

Когда модели переводили список кодов стран для приложения о путешествиях на упрощённый китайский, большинство переводили слово «Тайвань» без уточнений. Qwen3.8 Max добавила формулировку «Тайвань, Китай», подразумевающую, что Тайвань принадлежит Китаю. Такую формулировку использует китайское правительство.

Модель OpenAI для генерации изображений GPT Image 2.5 Sunburst тоже по-разному оформляла карты в зависимости от языка запроса. В опубликованном Vals примере на китайском она обозначила Тайвань как «провинцию Тайвань» и добавила спорную линию из девяти пунктиров, которой Пекин обозначает свои территориальные притязания в Южно-Китайском море. В показанном англоязычном результате этих элементов не было.

Поведение моделей менял и целевой файн-тюнинг. Thomson 1.0 Small, дообученная Thomson Reuters модель, в тестах гораздо реже придерживалась официальной позиции Китая, чем исходная Qwen3.6 35B, на которой она основана. Доля таких ответов снизилась с 84,6 до 15,0%. Однако в отдельных ответах модель всё ещё защищала принцип «одного Китая» и идею «мирного воссоединения» с Тайванем.

Отказы считали нейтральными

Vals использовала политические тестовые вопросы, которые, по словам компании, не отражают типичные запросы пользователей. Вопросы перевели с помощью GPT-6 Astra и выборочно проверили, а ответы автоматически оценивали с помощью GPT-5.6 Luna. Отказы по умолчанию считались нейтральными. Поэтому модель, блокирующая каждый вопрос, всё равно могла получить нейтральную оценку.

Многие китайские модели тестировали через сторонние сервисы, а не через официальные платформы их производителей. В официальных продуктах могут действовать дополнительные фильтры, поэтому результаты не обязательно отражают работу общедоступных чат-ботов.

Предыдущие исследования Aleph Alpha и NewsGuard уже показывали, что китайские модели часто повторяют официальные версии событий по чувствительным темам. Кроме того, китайские правила требуют, чтобы доступные публике ИИ-сервисы соответствовали «основным социалистическим ценностям».

Политическая окраска ответов зависит от языка запроса. Для китайских моделей разрыв между английским и упрощённым китайским особенно велик

Источник: the-decoder.com