Qwen og politisk bias: Hvad viser testene egentlig?

Alibaba-modellen Qwen bruges i produkter og tjenester, også hos vestlige virksomheder som Airbnb og Uber, ifølge CBS News.10 Derfor handler spørgsmål om modellens svar ikke kun om præcision: Udeladelser og vinklinger kan også præge de produkter, virksomheder bygger med den. Hirundos test og CBS’ gennemgang peger på mulig politisk bias, men viser ikke, at alle Qwen-versioner opfører sig ens – eller at brug af Qwen i sig selv giver Alibaba eller den kinesiske regering adgang til virksomhedsdata.10

Hvad testede Hirundo?

Cybersecurity-startupvirksomheden Hirundo siger, at den testede Qwen med 500 spørgsmål fordelt på 15 emner. På politisk følsomme spørgsmål gav modellen ifølge Hirundos administrerende direktør svar præget af censur, politisk vinkling i tråd med kinesiske myndigheders linje eller anden politisk bias i 89,8 procent af tilfældene.11

Tallet er Hirundos eget resultat. Det er ikke en uafhængigt gentaget måling af alle Qwen-versioner, spørgsmålstyper eller måder at bruge modellen på. Det dækker desuden flere slags svar – herunder undvigelser, politisk vinkling og bias – og måler altså ikke kun, om modellen direkte afviser at svare.11

Blandt de omtalte eksempler var spørgsmål om drabene ved Den Himmelske Freds Plads i 1989 og protesterne i Hongkong i 2019. Hirundos resultater, som de er gengivet i medierne, omfattede svar, der ikke ville bekræfte eller anerkende begivenhederne. CBS’ omtale fremhævede også Qwens svar om Hongkong og andre kontroversielle emner.1115

Hvad bidrager CBS’ gennemgang med?

CBS News stillede selv Qwen spørgsmål om følsomme emner og beskrev svarene som alarmerende.1015 Gennemgangen giver et yderligere eksempel på den type adfærd, Hirundo beskriver, men er en afprøvning af udvalgte spørgsmål – ikke bevis for, at alle Qwen-modeller eller virksomhedsopsætninger svarer ens.

Det er også vigtigt at skelne mellem forskellige typer problematiske svar. En model kan undvige et emne, gentage en politisk vinkling eller give et upræcist svar uden direkte at sige, at den ikke kan svare. Hvis man kun undersøger, om modellen afviser spørgsmålet, kan man derfor overse andre former for udeladelse eller bias.11

Hvorfor det har betydning for virksomheder

CBS rapporterede, at Qwen var blevet downloadet mere end tre milliarder gange, og at virksomheder som Airbnb og Uber brugte modellen.10 Når en virksomhed bygger Qwen ind i kundevendte funktioner eller interne værktøjer, kan modellens svar påvirke det, brugerne møder. Det er en grund til at teste den konkrete version og opsætning til de opgaver, den skal bruges til – ikke et bevis på, at Hirundos fund gælder for ethvert produkt, der anvender Qwen.

Spørgsmål om politisk bias og datasikkerhed bør vurderes hver for sig. To udvalg i det amerikanske Repræsentanternes Hus har indledt en undersøgelse af nationale sikkerheds- og cybersikkerhedsrisici ved kinesiskudviklede AI-modeller, herunder Airbnbs rapporterede brug af Qwen. En undersøgelse og de bekymringer, den rejser, er ikke i sig selv bevis for, at Qwen har forårsaget et databrud.

Modeller med åbne vægte kan køres på en virksomheds egen infrastruktur. Det kan give virksomheden større kontrol over følsomme data end at sende dem til en ekstern udbyder, men fjerner ikke automatisk eventuel bias i modellens svar. Det afhænger også af, hvordan den konkrete løsning er sat op.

Hirundos foreslåede løsning er endnu en påstand, der skal efterprøves

Hirundo siger, at virksomheden har fundet en måde at fjerne bias fra Qwen ved at redigere modellens interne vægte. CBS har omtalt Hirundos planer om at udgive en såkaldt »westerniseret« version.10 Det er en påstand om en teknisk løsning – ikke uafhængig dokumentation for, at ændringen virker pålideligt på tværs af emner, modelversioner, sprog og arbejdsopgaver.

For virksomheder, der overvejer Qwen, er den praktiske konklusion at teste præcis den model og opsætning, de vil bruge. Afprøv både følsomme og almindelige spørgsmål, undersøg om svarene udelader eller fordrejer vigtige oplysninger, og gennemgå dataflow og sikkerhedsforanstaltninger særskilt. De rapporterede fund fortjener opmærksomhed, men afgør ikke spørgsmålet for alle måder at bruge modellen på.