Qwen и политическая предвзятость: что проверили Hirundo и CBS

Alibaba Qwen — модель с открытыми весами, которую можно использовать в собственных продуктах и сервисах. По данным CBS News, среди компаний, применяющих Qwen, есть Airbnb и Uber. Поэтому важен не только вопрос точности ответов: уклончивые формулировки и одностороннее изложение могут попасть и в сервисы, построенные на основе модели. Результаты Hirundo и проверки CBS указывают на возможную политическую предвзятость, но не доказывают, что все версии Qwen отвечают одинаково или что использование модели открывает Alibaba либо властям Китая доступ к данным компании.10

Что проверила Hirundo

Кибербезопасностный стартап Hirundo утверждает, что проверил Qwen с помощью 500 запросов по 15 темам. По словам главы компании, в ответах на политически чувствительные вопросы цензура, близкое к пропаганде изложение или политическая предвзятость встречались в 89,8% случаев.11

Эту цифру следует понимать именно как результат, заявленный Hirundo, а не как независимо воспроизведённый показатель для всех версий Qwen, запросов и вариантов использования. Кроме того, в одну категорию здесь сведены разные типы ответов — уклонение от темы, подача в определённом политическом ключе и предвзятость; это не просто подсчёт прямых отказов.11

Среди упомянутых тем — события на площади Тяньаньмэнь в 1989 году и протесты в Гонконге в 2019-м. В описании тестов Hirundo приводятся ответы, в которых модель не подтверждала или не признавала произошедшее. CBS также обращала внимание на ответы Qwen о Гонконге и других спорных темах.1115

Что добавляют проверки CBS

CBS News отдельно задавала Qwen вопросы на чувствительные темы и сообщила о тревожных ответах. Это ещё один пример поведения, о котором говорила Hirundo, но выборочная проверка не показывает, что любая версия модели или её внедрение в бизнес-сервисе будет отвечать так же.1015

Важно различать явный отказ и другие формы уклонения. Модель может обойти вопрос, воспроизвести политически заданную трактовку или дать неточный ответ, не произнося «я не могу ответить». Поэтому проверка только на прямые отказы может не выявить умолчания и предвзятость.11

Почему это важно для компаний — и чего результаты не доказывают

По данным CBS, Qwen скачивали более 3 миллиардов раз; среди компаний, использующих модель, названы Airbnb и Uber.10 Если организация встраивает её в функции для клиентов или внутренние инструменты, ответы модели могут влиять на то, какую информацию получают пользователи. Это веская причина проверять именно ту версию и конфигурацию, которую компания собирается использовать, но не доказательство, что выводы о политической предвзятости относятся ко всем продуктам на базе Qwen.

Вопросы политического уклона и кибербезопасности — разные вопросы. Комитеты Палаты представителей США начали расследование рисков национальной безопасности и кибербезопасности, связанных с моделями ИИ китайской разработки, в том числе с сообщениями об использовании Qwen в Airbnb. Само расследование и высказанные опасения не доказывают, что Qwen привела к утечке данных.

Модели с открытыми весами можно запускать на собственной инфраструктуре компании. Это может дать ей больше контроля над чувствительными данными, чем передача запросов внешнему поставщику. Но такой способ развёртывания сам по себе не устраняет возможную предвзятость ответов; многое зависит от конкретной конфигурации.

Заявленное Hirundo решение ещё предстоит оценить

Hirundo утверждает, что нашла способ убрать предвзятость Qwen, изменяя внутренние веса модели. CBS сообщила о планах компании выпустить версию, которую там называют «вестернизированной».10 Пока это заявление о предполагаемом техническом решении, а не независимое подтверждение того, что оно надёжно работает на разных темах, версиях модели, языках и рабочих задачах.

Компаниям, рассматривающим Qwen, стоит проверять именно ту модель и конфигурацию, которую они собираются внедрить: тестировать как обычные, так и чувствительные запросы, отмечать пропуски и искажения фактов, а отдельно — анализировать потоки данных и меры защиты. Опубликованные результаты заслуживают внимания, но сами по себе не дают окончательного ответа ни о поведении модели во всех сценариях, ни о безопасности каждого её применения.