Wat zeggen de tests over politieke bias in Alibaba’s Qwen?

Alibaba’s Qwen is een open-weights-AI-model: de modelgewichten zijn beschikbaar om het model zelf te gebruiken of te draaien. Volgens CBS News wordt Qwen ook ingezet in producten en diensten van westerse bedrijven, waaronder Airbnb en Uber. Daardoor gaat het niet alleen om de vraag of een chatbot feitelijk antwoordt: de weglatingen of invalshoek van een model kunnen ook doorwerken in producten die erop zijn gebouwd. De bevindingen van Hirundo en de controles van CBS wijzen op mogelijke politieke bias, maar bewijzen niet dat elke Qwen-versie zich hetzelfde gedraagt — of dat het gebruik van Qwen bedrijfsgegevens beschikbaar maakt voor Alibaba of de Chinese overheid.10

Wat Hirundo testte — en wat de uitkomst betekent

Hirundo, een cybersecuritystartup, zegt Qwen te hebben getest met 500 prompts over 15 onderwerpen. Bij politiek gevoelige vragen gaf Qwen volgens de startup in 89,8% van de gevallen een gecensureerd antwoord, een politiek gekleurde framing die aansluit bij Chinese propaganda, of een politiek bevooroordeeld antwoord. Dat cijfer werd door een bestuurder van Hirundo genoemd in berichtgeving van Newsmax.11

Dit is het door Hirundo gerapporteerde resultaat, geen onafhankelijk herhaald percentage voor alle Qwen-versies, prompts of toepassingen. Bovendien telt het verschillende soorten antwoorden bij elkaar op — uitwijken, een politiek gekleurde invalshoek en bias — en meet het dus niet alleen hoe vaak het model een vraag weigert.11

Tot de genoemde voorbeelden behoren vragen over het neerslaan van de protesten op het Tiananmenplein in 1989 en de protesten in Hongkong in 2019. Volgens de berichtgeving gaf Qwen bij zulke vragen antwoorden die gebeurtenissen niet bevestigden of erkenden. CBS besteedde in zijn berichtgeving ook aandacht aan reacties over Hongkong en andere omstreden onderwerpen.1115

Wat de controles van CBS toevoegen

CBS News stelde Qwen afzonderlijk vragen over gevoelige onderwerpen en meldde verontrustende antwoorden. Die controles vormen een extra voorbeeld van het gedrag dat Hirundo beschreef, maar zijn een beperkte steekproef — geen bewijs dat elke Qwen-versie of zakelijke toepassing op dezelfde manier reageert.1015

Dat onderscheid is belangrijk. Een model kan een onderwerp ontwijken, een politiek gekleurde uitleg herhalen of een onjuist antwoord geven zonder letterlijk te weigeren. Wie alleen meet of het model zegt ‘Daar kan ik niet op antwoorden’, kan andere vormen van weglating of bias dus over het hoofd zien.11

Waarom bedrijven dit serieus moeten nemen — en wat de tests niet bewijzen

CBS meldde dat Qwen meer dan 3 miljard keer was gedownload en werd gebruikt door bedrijven als Airbnb en Uber.10 Wanneer een bedrijf een model inzet in functies voor klanten of in interne hulpmiddelen, kunnen de antwoorden bepalen wat gebruikers te zien krijgen. Dat is reden om juist de modelversie en toepassing te testen die het bedrijf wil gebruiken. Het bewijst niet dat de gemelde politieke bias invloed heeft op elk product waarin Qwen wordt ingezet.

Vragen over politieke bias en vragen over beveiliging moeten ook apart worden bekeken. Commissies van het Amerikaanse Huis van Afgevaardigden zijn een onderzoek gestart naar nationaleveiligheids- en cybersecurityrisico’s rond AI-modellen die in China zijn ontwikkeld, waaronder het gemelde gebruik van Qwen door Airbnb. Een onderzoek en de zorgen die daaraan ten grondslag liggen, zijn geen bewijs dat Qwen een datalek heeft veroorzaakt.

Open-weightsmodellen kunnen op de eigen infrastructuur van een bedrijf draaien. Dat kan het bedrijf meer controle geven over gevoelige gegevens dan wanneer die naar een externe aanbieder worden gestuurd. Maar zo’n keuze haalt eventuele bias in de antwoorden van het model niet vanzelf weg; bovendien hangt veel af van de inrichting van een specifieke toepassing.

De voorgestelde oplossing van Hirundo moet nog worden beoordeeld

Hirundo zegt een manier te hebben gevonden om bias in Qwen te verwijderen door de interne gewichten van het model aan te passen. CBS berichtte dat het bedrijf een ‘verwestelijkte’ versie wil uitbrengen.10 Dat is een claim over een voorgestelde technische oplossing, geen onafhankelijk bewijs dat de aanpassing betrouwbaar werkt voor uiteenlopende onderwerpen, modelversies, talen en zakelijke taken.

Voor organisaties die Qwen overwegen, is de praktische les om de precieze modelversie en toepassing te beoordelen. Test zowel gevoelige als alledaagse vragen, controleer of antwoorden relevante feiten weglaten of verdraaien en beoordeel de gegevensstromen en beveiligingsmaatregelen afzonderlijk. De gerapporteerde bevindingen verdienen aandacht, maar geven geen definitief antwoord voor elk gebruik van het model.