Tester peker på politisk slagside i Qwen – men viser ikke at alle versjoner svarer likt

Alibaba-modellen Qwen er en åpen AI-modell som brukes i ulike produkter og tjenester, også hos vestlige selskaper som Airbnb og Uber, ifølge CBS News. Da er spørsmål om svarene handler ikke bare om hvor treffsikker en chatbot er: Utelatelser og vinklinger kan følge med inn i tjenestene som bygges rundt modellen. Hirundos funn og CBS News’ egne tester peker på mulige politiske slagsider. De viser imidlertid ikke at alle Qwen-versjoner oppfører seg likt – eller at bruk av Qwen gir Alibaba eller kinesiske myndigheter tilgang til selskapsdata.10

Hva testet Hirundo – og hva betyr resultatet?

Hirundo, et selskap innen cybersikkerhet, opplyser at det testet Qwen med 500 spørsmål fordelt på 15 temaer. Selskapet rapporterte at modellen svarte med sensur, propagandaorientert vinkling eller politisk slagside i 89,8 prosent av testene med politisk sensitive spørsmål. Det fortalte Hirundos toppsjef til Newsmax.11

Tallet er Hirundos eget rapporterte resultat. Det er ikke en uavhengig bekreftet andel som gjelder for alle Qwen-versjoner, spørsmål eller måter å bruke modellen på. Resultatet samler dessuten flere ulike typer svar – unnvikelse, politisk vinkling og slagside – og måler altså ikke bare hvor ofte modellen nekter å svare.11

Blant eksemplene som er omtalt, er spørsmål om drapene på Tiananmen-plassen i 1989 og protestene i Hongkong i 2019. Ifølge omtalen av Hirundos tester svarte modellen i noen tilfeller uten å bekrefte eller anerkjenne hendelsene. CBS’ dekning trakk også fram svar om Hongkong og andre omstridte temaer.1115

Hva bidrar CBS’ egne tester med?

CBS News stilte selv spørsmål til Qwen og rapporterte om oppsiktsvekkende svar på følsomme temaer. Testene gir flere eksempler på atferden Hirundo beskriver, men er stikkprøver – ikke bevis for at alle Qwen-modeller eller bedriftsløsninger vil svare på samme måte.1015

Det skillet er viktig. En modell kan unngå et tema, gjengi en politisk vinkling eller gi et uriktig svar uten å si rett ut at den ikke kan svare. Hvis man bare undersøker om modellen avslår med «det kan jeg ikke svare på», kan andre former for utelatelse eller slagside gå under radaren.11

Hvorfor det er relevant for bedrifter – og hva testene ikke viser

CBS rapporterte at Qwen var lastet ned mer enn tre milliarder ganger, og at selskaper som Airbnb og Uber brukte modellen.10 Når en bedrift tar en modell i bruk i kundetjenester eller interne verktøy, kan svarene påvirke hva brukerne møter. Det er en grunn til å teste akkurat den modellversjonen og løsningen bedriften planlegger å bruke – men ikke et bevis på at funn om politisk slagside preger alle produkter som benytter Qwen.

Spørsmål om politisk slagside og spørsmål om datasikkerhet bør også vurderes hver for seg. Komiteer i Representantenes hus i USA har innledet en gransking av nasjonale sikkerhets- og cybersikkerhetsrisikoer knyttet til AI-modeller utviklet i Kina, blant annet Airbnbs rapporterte bruk av Qwen. En gransking og bekymringene den bygger på, er ikke bevis for at Qwen har ført til datalekkasjer.

Åpne modeller med tilgjengelige modellvekter kan kjøres på bedriftens egen infrastruktur. Det kan gi virksomheten større kontroll over sensitive data enn om de sendes til en ekstern leverandør. Men en slik driftsmåte fjerner ikke i seg selv slagsider som allerede ligger i modellens svar, og detaljene i den enkelte bedrifts oppsett har betydning.

Hirundos foreslåtte løsning er foreløpig en påstand

Hirundo sier at selskapet har funnet en måte å fjerne slagsiden i Qwen på ved å redigere modellens interne vekter. CBS meldte også om planen om å lansere en «vestliggjort» versjon.10 Dette er en påstand om en teknisk løsning, ikke uavhengig dokumentasjon på at endringen fungerer pålitelig på tvers av temaer, modellversjoner, språk og oppgaver i arbeidslivet.

For virksomheter som vurderer Qwen, er den praktiske lærdommen å undersøke den konkrete modellen og løsningen de skal bruke. Test både sensitive og vanlige spørsmål, se etter om svar utelater eller fordreier viktige fakta, og vurder dataflyt og sikkerhetstiltak separat. Funnene som er rapportert, fortjener oppmerksomhet, men gir ikke et endelig svar for all bruk av modellen.