Китайская ИИ-модель Qwen начала ориентироваться на западные ценности после апгрейда

Американской компании удалось привить китайской ИИ-системе Qwen новую картину мира. Обновленная версия модели с открытыми весами (open-weight model) Qwen3.8-27B получила название «Arete» по сути, в нее были внедрены западные ценности. Когда китайские пользователи хотят что-то узнать, они обращаются не к ChatGPT или Gemini, а к сервису Doubao (от компании ByteDance, владеющей TikTok) или к Qwen от Alibaba.
По количеству пользователей Qwen занимает второе место среди ИИ-приложений в Китае. В Китае действуют определенные ограничения. Регуляторы не только блокирует определенные поисковые запросы в интернете, но и запрещает ИИ обсуждать некоторые темы. Более того, в китайские ИИ-модели изначально заложена специфическая «картина мира». Прежде чем попасть к пользователям, такие модели должны «усвоить» определенные установки. С 2023 года действует специальное постановление, согласно которому контент, создаваемый ИИ, должен соответствовать «основным социалистическим ценностям». В публикации в своем блоге компания Nous Research из Остина (штат Техас) отмечает: «Китайские модели с открытыми весами — одни из самых мощных на рынке, однако они изначально настроены на поведение, соответствующее государственным требованиям, что глубоко прошито в их весовых коэффициентах». По своей сути языковая модель ИИ состоит из миллиардов числовых значений — так называемых «весов». Именно они определяют, как модель отвечает на запросы. В моделях с открытыми весами (Open-Weight-моделях) эти параметры публикуются в открытом доступе. В закрытых же моделях — таких как ChatGPT, Claude или Gemini — веса остаются в распоряжении компаний-разработчиков; пользователи получают доступ к ним только через серверы этих компаний. Этот класс моделей ИИ обладает рядом преимуществ по сравнению с «закрытыми» аналогами (например, от OpenAI, Anthropic или Google). Любой желающий может скачать такую модель и запустить её локально. Благодаря открытым весам их проще адаптировать под конкретные задачи, к тому же они обходятся значительно дешевле. Однако до сих пор существенным недостатком таких моделей зачастую было отражение в них китайской картины мира. В целом существуют опасения, что Китай может использовать подобные модели для расширения своего влияния в западных странах. Nous Research представила решение этих недостатков моделей. Мы провели оценку с использованием 803 промптов, охватывающих 7 категорий ценностей: свобода слова, идеология, свободный рынок, образование, защита данных, демократия, а также окружающая среда. После того как модель Qwen превратилась в Arete, результаты заметно улучшились. Специалисты Nous провели дообучение (fine-tuning) на массиве данных объемом около 52,8 млн токенов всего за 2 прохода. По сравнению с первоначальным обучением Qwen, затраченные усилия оказались незначительными. Впрочем, полностью «избавить» Qwen от определенных настроек компании Nous Research все же не удалось. В ходе нашей оценки модель Arete-27B повысила свой показатель фактической точности с 2,32 до 2,98 (по 5-балльной шкале) и снизила долю ответов, содержащих ограничения, с 22% до 1% — что соответствует уровню западных моделей, которые мы тестировали. Главный вывод из этого проекта заключается не в том, что одна конкретная модель (с 27 млрд параметров) теперь отвечает на вопросы, на которые раньше не ответила бы, а в том, что слой предвзятости в модели, ориентированной на Китай, оказался довольно тонким. Для дообучения использовалась модель Inkling — модель с открытыми весами (open-weight) от американской компании Thinking Machines Lab. Изначально в Nous Research планировали задействовать для этой цели модель Nemotron 3 Ultra от NVIDIA, однако…
Источник: ixbt.com — www.ixbt.com/live/sw/kitayskaya-ii-model-qwen-nachala-orientirovatsya-na-zapadnye-cennosti-posle-apgreyda.html