Auch bei religiösen und nationalen Bezeichnungen wurden ähnliche Unterschiede beschrieben:

• Eine Anfrage über eine muslimische Person soll sicherheitsbezogene Formulierungen enthalten haben – etwa den Rat, den Ort zu verlassen oder Hilfe zu suchen, falls man sich unsicher fühle.
• Die nahezu gleichlautende Anfrage über eine israelische Person soll dagegen eine neutralere Antwort ausgelöst haben. Kritiker werteten den Unterschied als Hinweis auf antimuslimische Voreingenommenheit.
• Bei der Formulierung über eine Person aus den USA hieß es laut einem Bericht, die Situation sei „völlig in Ordnung“; empfohlen wurden ein normales Gespräch, einfache Fragen und Höflichkeit.
• Die Anfrage über einen Briten führte demnach zu stereotypen, aber nicht bedrohlich formulierten Ratschlägen: Tee anbieten, über das Wetter sprechen und höflichen Abstand wahren.
• Berichte nannten außerdem eine weniger harmlose Antwort auf eine ugandische Person. Der genaue Wortlaut ist in den hier verfügbaren Belegen jedoch nicht einheitlich dokumentiert.

Der Vorwurf richtet sich dabei nicht grundsätzlich gegen Sicherheitshinweise. Wenn jemand ausdrücklich sagt, er fühle sich bedroht, kann ein allgemeiner Hinweis auf Hilfe oder einen sicheren Ort sinnvoll sein. Problematisch wäre vielmehr, wenn sich die Warnung bei ansonsten gleicher Anfrage allein danach richtet, welche Religion, Nationalität oder ethnische Bezeichnung genannt wird. Dann könnte aus einer Sicherheitsregel die implizite Botschaft entstehen, bestimmte Gruppen seien von Natur aus gefährlicher als andere.

Reaktionen von Reddit, Futurism und Aktivisten

Reddit-Nutzer bezeichneten die Unterschiede als doppelten Maßstab. Futurism schrieb, die Notfallratschläge könnten schädliche rassistische Stereotype verstärken. Online-Aktivisten konzentrierten sich besonders auf den gemeldeten Gegensatz zwischen den Anfragen über Muslime und Israelis und warfen dem System Islamfeindlichkeit vor.

Der Imam Omar Suleiman teilte eine Antwort, die die Vorstellung zurückwies, eine muslimische Person müsse allein wegen ihres Glaubens als gefährlich gelten. In einem späteren, seinem Account zugeschriebenen Screenshot wurde das Zusammensein mit einer muslimischen Person als normal und sicher beschrieben. Außerdem hieß es dort, die gemeinsame Religion bestimme weder den Charakter eines Menschen noch sein Gefährdungspotenzial.

Der Screenshot belegt, dass zu einem späteren Zeitpunkt eine andere Antwort angezeigt wurde. Das vorliegende Material klärt jedoch nicht, wann genau die Änderung erfolgte, ob sie für alle Nutzer galt oder ob Google sie ausdrücklich als Reaktion auf Suleimans Beitrag vornahm.

Was Google sagte

Nach den verfügbaren Berichten räumte Google ein, dass die Ergebnisse in dieser Kategorie „nicht so sind, wie sie sein sollten“, und erklärte, an Verbesserungen zu arbeiten. Google verweist generell auf die Feedback-Funktionen unter einer AI Overview. Nutzer können dort angeben, dass eine Antwort ungenau, voreingenommen oder anderweitig problematisch ist.

Eine detaillierte technische Erklärung zu den unterschiedlichen Antworten liegt in den bereitgestellten Quellen nicht vor. Deshalb lässt sich nicht feststellen, ob die Abweichungen hauptsächlich auf das Modell selbst, auf aus dem Netz abgerufene Inhalte, auf Sicherheitslogik oder auf das Zusammenspiel dieser Faktoren zurückgingen.

Ein weiteres Kapitel in Googles KI-Problemen

Die Kontroverse ist deshalb besonders relevant, weil AI Overviews prominent über den herkömmlichen Suchergebnissen erscheinen. Eine automatisch erzeugte Antwort kann dadurch autoritativ wirken, selbst wenn sie unbelegt oder falsch ist.

Google AI Overview war bereits wegen absurder Empfehlungen in die Kritik geraten – etwa wegen des Ratschlags, Klebstoff auf Pizza zu geben oder Steine zu essen. Außerdem wiederholte die Funktion die falsche Behauptung, Barack Obama sei Muslim.

Weitere Berichte warnten vor ungenauen Gesundheitsinformationen in KI-generierten Suchzusammenfassungen. Eine von Futurism erwähnte Analyse des KI-Start-ups Oumi im Auftrag der New York Times kam zudem zu dem Ergebnis, dass solche Zusammenfassungen in rund 91 Prozent der Fälle korrekt seien. Selbst diese Quote würde bei der enormen Zahl von Google-Suchanfragen noch sehr viele falsche Antworten bedeuten.

Die hier vorliegenden Quellen dokumentieren nicht die konkreten Einzelheiten der ebenfalls diskutierten, angeblich fehlerhaften rassischen Bildgenerierung durch Gemini. Diese Behauptungen sollten daher nicht als erwiesen dargestellt werden. Sie passen jedoch in ein größeres, wiederkehrendes Problem: Systeme, die Informationen zusammenfassen sollen, können selbstbewusst formulierte, sozial schädliche oder sachlich falsche Aussagen erzeugen – und werden oft erst korrigiert, nachdem Nutzer sie öffentlich sichtbar gemacht haben.

Was Nutzer daraus lernen können

Eine AI Overview sollte als Ausgangspunkt und nicht als letzte Instanz verstanden werden – besonders dann, wenn sie Aussagen über Sicherheit, Religion, Nationalität oder die Identität von Menschen macht. Nutzer sollten die verlinkten Quellen öffnen, Antworten mit unabhängigen Informationen vergleichen und problematische Ergebnisse über Googles Feedback-Funktionen melden.

Für die Einschätzung persönlicher Sicherheit sollte letztlich das konkrete Verhalten und die jeweilige Situation entscheidend sein – nicht die vermutete Herkunft, Religion oder ethnische Zugehörigkeit einer Person. Genau diese Unterscheidung muss sowohl in den Sicherheitsregeln von KI-Systemen als auch in deren Tests vor der Veröffentlichung verankert sein.

Auch bei religiösen und nationalen Bezeichnungen wurden ähnliche Unterschiede beschrieben:

• Eine Anfrage über eine muslimische Person soll sicherheitsbezogene Formulierungen enthalten haben – etwa den Rat, den Ort zu verlassen oder Hilfe zu suchen, falls man sich unsicher fühle.
• Die nahezu gleichlautende Anfrage über eine israelische Person soll dagegen eine neutralere Antwort ausgelöst haben. Kritiker werteten den Unterschied als Hinweis auf antimuslimische Voreingenommenheit.
• Bei der Formulierung über eine Person aus den USA hieß es laut einem Bericht, die Situation sei „völlig in Ordnung“; empfohlen wurden ein normales Gespräch, einfache Fragen und Höflichkeit.
• Die Anfrage über einen Briten führte demnach zu stereotypen, aber nicht bedrohlich formulierten Ratschlägen: Tee anbieten, über das Wetter sprechen und höflichen Abstand wahren.
• Berichte nannten außerdem eine weniger harmlose Antwort auf eine ugandische Person. Der genaue Wortlaut ist in den hier verfügbaren Belegen jedoch nicht einheitlich dokumentiert.

Der Vorwurf richtet sich dabei nicht grundsätzlich gegen Sicherheitshinweise. Wenn jemand ausdrücklich sagt, er fühle sich bedroht, kann ein allgemeiner Hinweis auf Hilfe oder einen sicheren Ort sinnvoll sein. Problematisch wäre vielmehr, wenn sich die Warnung bei ansonsten gleicher Anfrage allein danach richtet, welche Religion, Nationalität oder ethnische Bezeichnung genannt wird. Dann könnte aus einer Sicherheitsregel die implizite Botschaft entstehen, bestimmte Gruppen seien von Natur aus gefährlicher als andere.

Reaktionen von Reddit, Futurism und Aktivisten

Reddit-Nutzer bezeichneten die Unterschiede als doppelten Maßstab. Futurism schrieb, die Notfallratschläge könnten schädliche rassistische Stereotype verstärken. Online-Aktivisten konzentrierten sich besonders auf den gemeldeten Gegensatz zwischen den Anfragen über Muslime und Israelis und warfen dem System Islamfeindlichkeit vor.

Der Imam Omar Suleiman teilte eine Antwort, die die Vorstellung zurückwies, eine muslimische Person müsse allein wegen ihres Glaubens als gefährlich gelten. In einem späteren, seinem Account zugeschriebenen Screenshot wurde das Zusammensein mit einer muslimischen Person als normal und sicher beschrieben. Außerdem hieß es dort, die gemeinsame Religion bestimme weder den Charakter eines Menschen noch sein Gefährdungspotenzial.

Der Screenshot belegt, dass zu einem späteren Zeitpunkt eine andere Antwort angezeigt wurde. Das vorliegende Material klärt jedoch nicht, wann genau die Änderung erfolgte, ob sie für alle Nutzer galt oder ob Google sie ausdrücklich als Reaktion auf Suleimans Beitrag vornahm.

Was Google sagte

Nach den verfügbaren Berichten räumte Google ein, dass die Ergebnisse in dieser Kategorie „nicht so sind, wie sie sein sollten“, und erklärte, an Verbesserungen zu arbeiten. Google verweist generell auf die Feedback-Funktionen unter einer AI Overview. Nutzer können dort angeben, dass eine Antwort ungenau, voreingenommen oder anderweitig problematisch ist.

Eine detaillierte technische Erklärung zu den unterschiedlichen Antworten liegt in den bereitgestellten Quellen nicht vor. Deshalb lässt sich nicht feststellen, ob die Abweichungen hauptsächlich auf das Modell selbst, auf aus dem Netz abgerufene Inhalte, auf Sicherheitslogik oder auf das Zusammenspiel dieser Faktoren zurückgingen.

Ein weiteres Kapitel in Googles KI-Problemen

Die Kontroverse ist deshalb besonders relevant, weil AI Overviews prominent über den herkömmlichen Suchergebnissen erscheinen. Eine automatisch erzeugte Antwort kann dadurch autoritativ wirken, selbst wenn sie unbelegt oder falsch ist.

Google AI Overview war bereits wegen absurder Empfehlungen in die Kritik geraten – etwa wegen des Ratschlags, Klebstoff auf Pizza zu geben oder Steine zu essen. Außerdem wiederholte die Funktion die falsche Behauptung, Barack Obama sei Muslim.

Weitere Berichte warnten vor ungenauen Gesundheitsinformationen in KI-generierten Suchzusammenfassungen. Eine von Futurism erwähnte Analyse des KI-Start-ups Oumi im Auftrag der New York Times kam zudem zu dem Ergebnis, dass solche Zusammenfassungen in rund 91 Prozent der Fälle korrekt seien. Selbst diese Quote würde bei der enormen Zahl von Google-Suchanfragen noch sehr viele falsche Antworten bedeuten.

Die hier vorliegenden Quellen dokumentieren nicht die konkreten Einzelheiten der ebenfalls diskutierten, angeblich fehlerhaften rassischen Bildgenerierung durch Gemini. Diese Behauptungen sollten daher nicht als erwiesen dargestellt werden. Sie passen jedoch in ein größeres, wiederkehrendes Problem: Systeme, die Informationen zusammenfassen sollen, können selbstbewusst formulierte, sozial schädliche oder sachlich falsche Aussagen erzeugen – und werden oft erst korrigiert, nachdem Nutzer sie öffentlich sichtbar gemacht haben.

Was Nutzer daraus lernen können

Eine AI Overview sollte als Ausgangspunkt und nicht als letzte Instanz verstanden werden – besonders dann, wenn sie Aussagen über Sicherheit, Religion, Nationalität oder die Identität von Menschen macht. Nutzer sollten die verlinkten Quellen öffnen, Antworten mit unabhängigen Informationen vergleichen und problematische Ergebnisse über Googles Feedback-Funktionen melden.

Für die Einschätzung persönlicher Sicherheit sollte letztlich das konkrete Verhalten und die jeweilige Situation entscheidend sein – nicht die vermutete Herkunft, Religion oder ethnische Zugehörigkeit einer Person. Genau diese Unterscheidung muss sowohl in den Sicherheitsregeln von KI-Systemen als auch in deren Tests vor der Veröffentlichung verankert sein.