Andra rapporter beskrev liknande skillnader mellan nationella och religiösa beteckningar:

• En fråga om att vara ensam med en muslim uppges ha gett säkerhetsrelaterade råd, bland annat att lämna området eller söka hjälp om användaren kände sig otrygg.
• En parallell fråga om att vara ensam med en israel uppges ha fått ett mer neutralt svar, vilket ledde till anklagelser om islamofobi.
• I den amerikanska versionen ska AI:n ha sagt att det var ”helt okej” att vara ensam med någon från USA och rekommenderat vanligt samtal och artighet.
• Frågan om en britt uppges ha fått stereotypa men inte hotfulla råd om att bjuda på te, prata om vädret och hålla ett artigt avstånd.
• Rapporteringen beskrev även ett mindre positivt svar på en fråga om en ugandier, men den exakta formuleringen framgår inte konsekvent av det tillgängliga underlaget.

Det är denna kontrast som väckte reaktioner: en säkerhetsfunktion riskerade att förvandlas till ett underförstått påstående om att vissa grupper i sig skulle vara farligare än andra.

Reaktioner från användare och aktivister

Reddit-användare beskrev svaren som en dubbelstandard, medan Futurism menade att språket om nödsituationer förstärkte skadliga rasstereotyper. Aktivister på nätet riktade särskilt in sig på den rapporterade skillnaden mellan frågorna om muslimer och israeler och kallade den ett uttryck för anti-muslimsk partiskhet.

Imam Omar Suleiman delade ett svar som avvisade tanken att en muslimsk person ska betraktas som farlig på grund av sin tro. I en senare skärmdump som tillskrivs hans konto beskrevs det som normalt att vara ensam med en muslimsk person. Där stod också att en gemensam religion inte avgör en individs karaktär eller hotnivå.

Den senare formuleringen visar att ett annat svar visades vid ett tillfälle. Underlaget fastslår däremot inte exakt när svaret ändrades, om ändringen gällde alla användare eller om Google gjorde den specifikt efter Suleimans inlägg.

Googles svar

Enligt den tillgängliga rapporteringen medgav Google att resultaten i den här kategorin ”inte är som de borde vara” och uppgav att företaget arbetade med förbättringar. Google erbjuder också generellt möjligheten att rapportera AI Overview-svar som är felaktiga, partiska eller på annat sätt problematiska via återkopplingsverktygen under sammanfattningen.

Det finns ingen detaljerad teknisk förklaring från Google i det material som ligger till grund för denna text. Därför går det inte att slå fast om de olika svaren främst berodde på själva språkmodellen, innehåll som hämtats från webben, säkerhetssystemets regler eller en kombination av dessa faktorer.

En del av ett större problem med AI-sökningar

AI Overviews visas högt upp i Googles sökresultat. Det gör att ett automatiskt genererat svar lätt kan uppfattas som auktoritativt – även när det saknar stöd eller är felaktigt.

Funktionen har tidigare kritiserats för märkliga rekommendationer, bland annat råd om att lägga lim på pizza och äta stenar, samt för att ha upprepat det falska påståendet att Barack Obama var muslim. Andra granskningar har pekat på felaktig hälsoinformation i AI-genererade söksammanfattningar.

En separat analys som Futurism hänvisade till uppskattade att AI-genererade sammanfattningar var korrekta ungefär 91 procent av gångerna. Även en sådan träffsäkerhet skulle innebära ett stort antal felaktiga svar när tjänsten används i Googles enorma sökvolym.

Det tillgängliga underlaget dokumenterar inte de specifika detaljerna kring påståenden om att Gemini ska ha skapat felaktiga rasrelaterade bilder. De uppgifterna bör därför inte behandlas som fastslagna här. Däremot pekar materialet på ett återkommande problem: system som ska sammanfatta information kan ge självsäkra, socialt skadliga eller sakligt felaktiga svar – och sedan behöva rättas efter att användare upptäckt problemen.

Vad användare bör göra

Se AI Overview som en startpunkt, inte som en slutgiltig auktoritet – särskilt när svaret handlar om en persons säkerhet, identitet, religion eller nationalitet. Jämför liknande frågor, öppna länkarna bakom sammanfattningen och rapportera partiska eller felaktiga svar via Googles återkopplingsfunktion.

Personlig säkerhet bör bedömas utifrån beteende och situation, inte utifrån någons nationalitet, hudfärg eller religion. Det är en skillnad som både AI-modellernas säkerhetsregler och testerna före lansering måste ta hänsyn till.

Andra rapporter beskrev liknande skillnader mellan nationella och religiösa beteckningar:

• En fråga om att vara ensam med en muslim uppges ha gett säkerhetsrelaterade råd, bland annat att lämna området eller söka hjälp om användaren kände sig otrygg.
• En parallell fråga om att vara ensam med en israel uppges ha fått ett mer neutralt svar, vilket ledde till anklagelser om islamofobi.
• I den amerikanska versionen ska AI:n ha sagt att det var ”helt okej” att vara ensam med någon från USA och rekommenderat vanligt samtal och artighet.
• Frågan om en britt uppges ha fått stereotypa men inte hotfulla råd om att bjuda på te, prata om vädret och hålla ett artigt avstånd.
• Rapporteringen beskrev även ett mindre positivt svar på en fråga om en ugandier, men den exakta formuleringen framgår inte konsekvent av det tillgängliga underlaget.

Det är denna kontrast som väckte reaktioner: en säkerhetsfunktion riskerade att förvandlas till ett underförstått påstående om att vissa grupper i sig skulle vara farligare än andra.

Reaktioner från användare och aktivister

Reddit-användare beskrev svaren som en dubbelstandard, medan Futurism menade att språket om nödsituationer förstärkte skadliga rasstereotyper. Aktivister på nätet riktade särskilt in sig på den rapporterade skillnaden mellan frågorna om muslimer och israeler och kallade den ett uttryck för anti-muslimsk partiskhet.

Imam Omar Suleiman delade ett svar som avvisade tanken att en muslimsk person ska betraktas som farlig på grund av sin tro. I en senare skärmdump som tillskrivs hans konto beskrevs det som normalt att vara ensam med en muslimsk person. Där stod också att en gemensam religion inte avgör en individs karaktär eller hotnivå.

Den senare formuleringen visar att ett annat svar visades vid ett tillfälle. Underlaget fastslår däremot inte exakt när svaret ändrades, om ändringen gällde alla användare eller om Google gjorde den specifikt efter Suleimans inlägg.

Googles svar

Enligt den tillgängliga rapporteringen medgav Google att resultaten i den här kategorin ”inte är som de borde vara” och uppgav att företaget arbetade med förbättringar. Google erbjuder också generellt möjligheten att rapportera AI Overview-svar som är felaktiga, partiska eller på annat sätt problematiska via återkopplingsverktygen under sammanfattningen.

Det finns ingen detaljerad teknisk förklaring från Google i det material som ligger till grund för denna text. Därför går det inte att slå fast om de olika svaren främst berodde på själva språkmodellen, innehåll som hämtats från webben, säkerhetssystemets regler eller en kombination av dessa faktorer.

En del av ett större problem med AI-sökningar

AI Overviews visas högt upp i Googles sökresultat. Det gör att ett automatiskt genererat svar lätt kan uppfattas som auktoritativt – även när det saknar stöd eller är felaktigt.

Funktionen har tidigare kritiserats för märkliga rekommendationer, bland annat råd om att lägga lim på pizza och äta stenar, samt för att ha upprepat det falska påståendet att Barack Obama var muslim. Andra granskningar har pekat på felaktig hälsoinformation i AI-genererade söksammanfattningar.

En separat analys som Futurism hänvisade till uppskattade att AI-genererade sammanfattningar var korrekta ungefär 91 procent av gångerna. Även en sådan träffsäkerhet skulle innebära ett stort antal felaktiga svar när tjänsten används i Googles enorma sökvolym.

Det tillgängliga underlaget dokumenterar inte de specifika detaljerna kring påståenden om att Gemini ska ha skapat felaktiga rasrelaterade bilder. De uppgifterna bör därför inte behandlas som fastslagna här. Däremot pekar materialet på ett återkommande problem: system som ska sammanfatta information kan ge självsäkra, socialt skadliga eller sakligt felaktiga svar – och sedan behöva rättas efter att användare upptäckt problemen.

Vad användare bör göra

Se AI Overview som en startpunkt, inte som en slutgiltig auktoritet – särskilt när svaret handlar om en persons säkerhet, identitet, religion eller nationalitet. Jämför liknande frågor, öppna länkarna bakom sammanfattningen och rapportera partiska eller felaktiga svar via Googles återkopplingsfunktion.

Personlig säkerhet bör bedömas utifrån beteende och situation, inte utifrån någons nationalitet, hudfärg eller religion. Det är en skillnad som både AI-modellernas säkerhetsregler och testerna före lansering måste ta hänsyn till.