Google AI Overview anklages for å gi ulike sikkerhetsadvarsler om ulike grupper

Problemet var ikke nødvendigvis at systemet nevnte personlig sikkerhet. En generell sikkerhetsadvarsel kan være riktig dersom en bruker faktisk sier at han eller hun føler seg truet. Kritikken handlet om at advarselen tilsynelatende endret seg ut fra identiteten som ble nevnt i en ellers nesten identisk setning.

Dermed kan en sikkerhetsregel som i utgangspunktet skal beskytte brukeren, i praksis gi inntrykk av at enkelte grupper i seg selv er farligere enn andre.

Reaksjonene på nettet

Reddit-brukere beskrev svarene som en dobbeltstandard, mens Futurism mente nødrelaterte formuleringer kunne forsterke rasestereotypier. Aktivister på nettet rettet særlig oppmerksomheten mot kontrasten mellom søkene om en muslim og en israeler, og omtalte den som anti-muslimsk skjevhet.

Imam Omar Suleiman delte et svar som avviste premisset om at en muslimsk person bør behandles som farlig på grunn av troen sin. I et senere skjermbilde knyttet til kontoen hans ble det å være alene med en muslim beskrevet som normalt. Svaret understreket også at en felles religion ikke avgjør en persons karakter eller hvor truende vedkommende er.

Det senere skjermbildet viser at et annet svar ble vist på et tidspunkt. Materialet fastslår imidlertid ikke når endringen skjedde, om den ble rullet ut til alle brukere, eller om Google gjorde den spesifikt som følge av Suleimans innlegg.

Googles svar

Google skal ha erkjent at resultatene i denne kategorien «ikke er slik de burde være», og sagt at selskapet arbeider med forbedringer.

Google oppfordrer generelt brukere til å rapportere AI Overview-svar som er unøyaktige, skjeve eller på andre måter problematiske. Dette kan gjøres med tommel opp- eller tommel ned-knappene under sammendraget, før brukeren velger «Rapporter et problem» og beskriver hva som er galt.

Det foreligger ingen detaljert teknisk forklaring i materialet på hvorfor svarene ble forskjellige. Det er derfor ikke mulig å fastslå om årsaken først og fremst var selve språkmodellen, innhold systemet hentet fra nettet, sikkerhetslogikken eller en kombinasjon av disse faktorene.

En del av et større problem

AI Overviews vises høyt oppe i Googles søkeresultater. Et generert svar kan derfor fremstå som autoritativt, selv når det er feil eller mangler støtte. Funksjonen har tidligere fått kritikk for absurde anbefalinger, blant annet råd om å bruke lim på pizza og spise steiner. Den skal også ha gjentatt den uriktige påstanden om at Barack Obama var muslim.

Andre undersøkelser har reist spørsmål ved helseinformasjon i AI-genererte søkesammendrag. En analyse omtalt av Futurism anslo at slike sammendrag var korrekte rundt 91 prosent av tiden. Selv en såpass høy andel innebærer likevel mange feil når teknologien brukes i Googles enorme søkevolum.

Det tilgjengelige materialet dokumenterer ikke detaljene i påstandene om at Gemini skal ha generert unøyaktige bilder knyttet til rase. De bør derfor ikke behandles som fastslåtte fakta her. Episoden gir likevel et tydelig bilde av en bredere utfordring: Systemer som skal oppsummere informasjon, kan produsere selvsikre, sosialt skadelige eller faktuelt uriktige svar – og først bli korrigert etter at brukerne oppdager dem.

Hva brukerne bør gjøre

Et AI Overview-svar bør behandles som et utgangspunkt, ikke som siste ord – særlig når det handler om en persons sikkerhet, identitet, religion eller nasjonalitet. Sammenlign gjerne svar på parallelle spørsmål, åpne lenkene som ligger til grunn, og rapporter unøyaktige eller skjeve resultater gjennom Googles tilbakemeldingsverktøy.

Personlig sikkerhet bør vurderes ut fra atferd og situasjon, ikke ut fra noens nasjonalitet, hudfarge eller religion. Det er nettopp denne forskjellen både modellens sikkerhetsregler og testingen av søkeresultater må ivareta før svarene når brukerne.