Andre rapporter beskrev en lignende forskel mellem nationale og religiøse betegnelser:

• Et spørgsmål om at være alene med en muslim skulle have udløst sikkerhedsrelateret sprog, blandt andet et råd om at forlade området eller søge hjælp, hvis brugeren følte sig utryg.
• Et parallelt spørgsmål om at være alene med en israeler skulle have fået et mere neutralt svar. Det førte til beskyldninger om islamofobi.
• Ved spørgsmålet om at være alene med en amerikaner skulle svaret have sagt, at situationen var »helt acceptabel«, og anbefalet almindelig samtale og høflighed.
• Spørgsmålet om en brite skulle angiveligt have givet stereotype, men ikke truende råd om at byde på te, tale om vejret og holde en høflig afstand.
• Også et spørgsmål med en ugander blev omtalt som mindre positivt, men den præcise ordlyd fremgår ikke ensartet af det tilgængelige materiale.

Problemet var ikke nødvendigvis, at systemet nævnte personlig sikkerhed. En generel sikkerhedsadvarsel kan være rimelig, hvis en bruger siger, at vedkommende føler sig truet. Kritikken gik på, at advarslen tilsyneladende ændrede sig alt efter identiteten i en ellers næsten identisk formulering.

Det kan få en neutral sikkerhedsregel til at fremstå som en antydning af, at nogle grupper i sig selv er farligere end andre. Personlig sikkerhed bør derimod vurderes ud fra adfærd og situation – ikke ud fra en persons nationalitet, race eller religion.

Reaktionerne på Reddit og blandt aktivister

Reddit-brugere fremhævede svarene som en dobbeltstandard, mens Futurism beskrev nødberedskabs-sproget som en gentagelse af skadelige racestereotyper.

Onlineaktivister fokuserede især på kontrasten mellem spørgsmålene om en muslim og en israeler og kaldte den udtryk for anti-muslimsk bias.

Imam Omar Suleiman delte et svar, der afviste præmissen om, at en muslim bør behandles som farlig på grund af sin tro. I et senere skærmbillede, der blev tilskrevet hans konto, blev det at være alene med en muslim beskrevet som normalt. Svaret understregede samtidig, at fælles religion ikke afgør en persons karakter eller trusselsniveau.

Det senere skærmbillede viser, at der på et tidspunkt blev vist en anden formulering. Materialet fastslår dog ikke, hvornår ændringen skete, om den blev rullet ud til alle brugere, eller om Google foretog den specifikt som reaktion på Suleimans opslag.

Google erkender problemet

Ifølge den tilgængelige rapportering erkendte Google, at resultaterne i denne kategori »ikke er, som de burde være«, og oplyste, at virksomheden arbejdede på forbedringer.

Google giver generelt brugere mulighed for at rapportere AI Overviews, der er upræcise, forudindtagede eller på anden måde problematiske, via feedbackknapperne under oversigten.

Der er ikke fremlagt nogen detaljeret teknisk forklaring fra Google på de ulige svar. Derfor kan materialet ikke afgøre, om årsagen primært var modellens egen adfærd, indhold hentet fra nettet, sikkerhedssystemets regler eller et samspil mellem disse faktorer.

En del af et større problem med Googles AI-svar

AI Overviews ligger fremtrædende øverst i Google Search. Et genereret svar kan derfor virke autoritativt, selv når det er udokumenteret eller forkert.

Funktionen er tidligere blevet kritiseret for bizarre anbefalinger – blandt andet forslag om at putte lim på pizza og spise sten – og for at gentage den falske påstand, at Barack Obama var muslim.

Andre undersøgelser har rejst bekymring over upræcise sundhedsoplysninger i AI-genererede søgeresuméer. En analyse udført af AI-startuppen Oumi for The New York Times, som blev omtalt af Futurism, vurderede, at AI-genererede oversigter var korrekte omkring 91 procent af tiden. Selv det niveau ville på Googles enorme søgeskala kunne betyde et stort antal forkerte svar.

Det leverede materiale dokumenterer ikke de konkrete detaljer i påstandene om, at Gemini skulle have genereret upræcise billeder med racemæssige skævheder. De påstande bør derfor ikke behandles som fastslåede her.

Det, kilderne derimod peger på, er et tilbagevendende problem: Systemer, der er designet til at opsummere information, kan levere selvsikre svar, som både er socialt skadelige og faktuelt forkerte. Ofte bliver fejlene først rettet, efter at brugere har gjort opmærksom på dem offentligt.

Hvad bør brugere gøre?

En AI Overview bør ses som et udgangspunkt – ikke som den endelige sandhed – især når svaret handler om sikkerhed, identitet, religion eller nationalitet. Sammenlign eventuelt parallelle formuleringer, undersøg de underliggende links, og rapportér forudindtagede eller upræcise svar via Googles feedbackværktøjer.

Den vigtigste lære er, at sikkerhed skal vurderes ud fra konkrete omstændigheder og menneskers handlinger. En persons nationalitet, race eller religion bør ikke i sig selv udløse en advarsel. Den skelnen skal være indbygget i både AI-modellens sikkerhedsregler og i de tests, der gennemføres, før svarene når ud til brugerne.

Andre rapporter beskrev en lignende forskel mellem nationale og religiøse betegnelser:

• Et spørgsmål om at være alene med en muslim skulle have udløst sikkerhedsrelateret sprog, blandt andet et råd om at forlade området eller søge hjælp, hvis brugeren følte sig utryg.
• Et parallelt spørgsmål om at være alene med en israeler skulle have fået et mere neutralt svar. Det førte til beskyldninger om islamofobi.
• Ved spørgsmålet om at være alene med en amerikaner skulle svaret have sagt, at situationen var »helt acceptabel«, og anbefalet almindelig samtale og høflighed.
• Spørgsmålet om en brite skulle angiveligt have givet stereotype, men ikke truende råd om at byde på te, tale om vejret og holde en høflig afstand.
• Også et spørgsmål med en ugander blev omtalt som mindre positivt, men den præcise ordlyd fremgår ikke ensartet af det tilgængelige materiale.

Problemet var ikke nødvendigvis, at systemet nævnte personlig sikkerhed. En generel sikkerhedsadvarsel kan være rimelig, hvis en bruger siger, at vedkommende føler sig truet. Kritikken gik på, at advarslen tilsyneladende ændrede sig alt efter identiteten i en ellers næsten identisk formulering.

Det kan få en neutral sikkerhedsregel til at fremstå som en antydning af, at nogle grupper i sig selv er farligere end andre. Personlig sikkerhed bør derimod vurderes ud fra adfærd og situation – ikke ud fra en persons nationalitet, race eller religion.

Reaktionerne på Reddit og blandt aktivister

Reddit-brugere fremhævede svarene som en dobbeltstandard, mens Futurism beskrev nødberedskabs-sproget som en gentagelse af skadelige racestereotyper.

Onlineaktivister fokuserede især på kontrasten mellem spørgsmålene om en muslim og en israeler og kaldte den udtryk for anti-muslimsk bias.

Imam Omar Suleiman delte et svar, der afviste præmissen om, at en muslim bør behandles som farlig på grund af sin tro. I et senere skærmbillede, der blev tilskrevet hans konto, blev det at være alene med en muslim beskrevet som normalt. Svaret understregede samtidig, at fælles religion ikke afgør en persons karakter eller trusselsniveau.

Det senere skærmbillede viser, at der på et tidspunkt blev vist en anden formulering. Materialet fastslår dog ikke, hvornår ændringen skete, om den blev rullet ud til alle brugere, eller om Google foretog den specifikt som reaktion på Suleimans opslag.

Google erkender problemet

Ifølge den tilgængelige rapportering erkendte Google, at resultaterne i denne kategori »ikke er, som de burde være«, og oplyste, at virksomheden arbejdede på forbedringer.

Google giver generelt brugere mulighed for at rapportere AI Overviews, der er upræcise, forudindtagede eller på anden måde problematiske, via feedbackknapperne under oversigten.

Der er ikke fremlagt nogen detaljeret teknisk forklaring fra Google på de ulige svar. Derfor kan materialet ikke afgøre, om årsagen primært var modellens egen adfærd, indhold hentet fra nettet, sikkerhedssystemets regler eller et samspil mellem disse faktorer.

En del af et større problem med Googles AI-svar

AI Overviews ligger fremtrædende øverst i Google Search. Et genereret svar kan derfor virke autoritativt, selv når det er udokumenteret eller forkert.

Funktionen er tidligere blevet kritiseret for bizarre anbefalinger – blandt andet forslag om at putte lim på pizza og spise sten – og for at gentage den falske påstand, at Barack Obama var muslim.

Andre undersøgelser har rejst bekymring over upræcise sundhedsoplysninger i AI-genererede søgeresuméer. En analyse udført af AI-startuppen Oumi for The New York Times, som blev omtalt af Futurism, vurderede, at AI-genererede oversigter var korrekte omkring 91 procent af tiden. Selv det niveau ville på Googles enorme søgeskala kunne betyde et stort antal forkerte svar.

Det leverede materiale dokumenterer ikke de konkrete detaljer i påstandene om, at Gemini skulle have genereret upræcise billeder med racemæssige skævheder. De påstande bør derfor ikke behandles som fastslåede her.

Det, kilderne derimod peger på, er et tilbagevendende problem: Systemer, der er designet til at opsummere information, kan levere selvsikre svar, som både er socialt skadelige og faktuelt forkerte. Ofte bliver fejlene først rettet, efter at brugere har gjort opmærksom på dem offentligt.

Hvad bør brugere gøre?

En AI Overview bør ses som et udgangspunkt – ikke som den endelige sandhed – især når svaret handler om sikkerhed, identitet, religion eller nationalitet. Sammenlign eventuelt parallelle formuleringer, undersøg de underliggende links, og rapportér forudindtagede eller upræcise svar via Googles feedbackværktøjer.

Den vigtigste lære er, at sikkerhed skal vurderes ud fra konkrete omstændigheder og menneskers handlinger. En persons nationalitet, race eller religion bør ikke i sig selv udløse en advarsel. Den skelnen skal være indbygget i både AI-modellens sikkerhedsregler og i de tests, der gennemføres, før svarene når ud til brugerne.