Qwen : ce que les tests révèlent — et ne prouvent pas — sur ses réponses politiques

Qwen, le modèle d’intelligence artificielle d’Alibaba, est utilisé dans des produits et services, notamment par des entreprises occidentales comme Airbnb et Uber, selon CBS News.10 La façon dont il répond — ou élude certaines questions — peut donc compter au-delà d’un simple échange avec un chatbot : ses réponses peuvent se retrouver dans les outils construits à partir du modèle. Les tests de Hirundo et les vérifications de CBS News soulèvent des questions sur un possible biais politique, mais ne prouvent ni que toutes les versions de Qwen se comportent de la même façon, ni que son utilisation donne accès aux données d’une entreprise à Alibaba ou au gouvernement chinois.10

Ce que Hirundo a testé

Hirundo, une jeune entreprise spécialisée dans la cybersécurité, affirme avoir soumis Qwen à 500 questions réparties entre 15 thèmes. D’après son dirigeant, pour les questions politiquement sensibles, le modèle a produit des réponses censurées, reprenant un cadrage favorable aux autorités chinoises, ou marquées par un biais politique dans 89,8 % des cas.11

Ce chiffre correspond au résultat rapporté par Hirundo : il ne s’agit pas d’un taux reproduit indépendamment pour toutes les versions de Qwen, toutes les questions possibles ou tous les usages professionnels. Il regroupe en outre plusieurs comportements — esquive, cadrage aligné sur un discours politique et biais — et ne mesure donc pas uniquement les refus explicites.11

Parmi les exemples cités figurent des questions sur les événements de Tian’anmen en 1989 et les manifestations de Hong Kong en 2019. Selon les résultats rapportés, certaines réponses de Qwen ne confirmaient pas ou ne reconnaissaient pas les événements évoqués. Le sujet a aussi été mis en avant dans la couverture de CBS News sur Hong Kong et d’autres thèmes controversés.1115

Ce que les vérifications de CBS News apportent

CBS News a, de son côté, interrogé Qwen et fait état de réponses préoccupantes sur des sujets sensibles. Ces vérifications fournissent des exemples supplémentaires compatibles avec les problèmes décrits par Hirundo. Elles constituent toutefois des tests ponctuels, et non la preuve que chaque version du modèle ou chaque déploiement donnera les mêmes réponses.1015

La nuance est importante : un modèle peut éviter un sujet, reprendre un cadrage politique ou donner une réponse inexacte sans dire explicitement qu’il refuse de répondre. Se limiter à repérer les formules du type « je ne peux pas répondre » risque donc de passer à côté d’autres formes d’omission ou de biais.11

Pourquoi cela concerne les entreprises — et ce que les tests ne prouvent pas

CBS News rapporte que Qwen a été téléchargé plus de 3 milliards de fois et qu’il est utilisé par des entreprises comme Airbnb et Uber.10 Lorsqu’une entreprise intègre un modèle à un outil destiné à ses clients ou à ses équipes, ses réponses peuvent influencer ce que les utilisateurs voient. C’est une raison de tester la version précise et le mode de déploiement envisagés — pas la preuve que les biais relevés se retrouvent dans chaque produit utilisant Qwen.

Les questions de biais politique et celles de sécurité doivent aussi être distinguées. Des commissions de la Chambre des représentants des États-Unis ont ouvert une enquête sur les risques de sécurité nationale et de cybersécurité associés aux modèles d’IA développés en Chine, notamment en lien avec l’utilisation rapportée de Qwen par Airbnb. Cette enquête et les inquiétudes qu’elle soulève ne prouvent pas que Qwen ait provoqué une fuite de données.

Un modèle à poids ouverts peut être exécuté sur l’infrastructure informatique d’une entreprise. Cela peut lui donner davantage de contrôle sur les données sensibles que le recours à un prestataire externe, mais ne supprime pas automatiquement les biais présents dans les réponses du modèle. Le niveau de protection dépend aussi des modalités concrètes de déploiement.

La solution revendiquée par Hirundo reste à évaluer

Hirundo affirme avoir trouvé comment supprimer le biais de Qwen en modifiant les poids internes du modèle. CBS News a également rapporté son projet de publier une version dite « occidentalisée ».10 Il s’agit d’une solution revendiquée par l’entreprise, et non d’une preuve indépendante que la modification fonctionne de manière fiable sur tous les sujets, toutes les versions, toutes les langues ou les tâches professionnelles courantes.

Pour une organisation qui envisage d’utiliser Qwen, la conclusion pratique est donc de tester le modèle et le déploiement qu’elle compte réellement adopter : poser des questions sensibles comme des questions ordinaires, vérifier les omissions et les déformations, puis examiner séparément les flux de données et les mesures de sécurité. Les résultats rapportés méritent d’être pris au sérieux, mais ne tranchent pas à eux seuls ces deux questions pour tous les usages.