Problemem nie było samo wspomnienie o bezpieczeństwie. Ogólne zastrzeżenie może być uzasadnione, jeśli użytkownik rzeczywiście mówi, że czuje się zagrożony. Kontrowersje wywołało to, że ostrzeżenie miało zmieniać się zależnie od tożsamości osoby wymienionej w niemal identycznym zapytaniu. W takim przypadku neutralna zasada bezpieczeństwa może zacząć sugerować, że niektóre grupy są z natury bardziej niebezpieczne od innych.
Użytkownicy Reddita wskazywali na podwójne standardy, a Futurism ocenił język dotyczący reagowania na sytuacje awaryjne jako wzmacniający szkodliwe stereotypy rasowe. Internetowi aktywiści skupili się również na opisywanym kontraście między zapytaniami o muzułmanina i Izraelczyka, określając go jako przejaw uprzedzeń wobec muzułmanów.
Imam Omar Suleiman opublikował odpowiedź odrzucającą założenie, że muzułmanin powinien być traktowany jako osoba niebezpieczna wyłącznie z powodu swojej wiary. Na późniejszym zrzucie ekranu przypisywanym jego kontu odpowiedź opisywała przebywanie sam na sam z muzułmaninem jako normalną sytuację i podkreślała, że wspólna religia nie przesądza o charakterze ani poziomie zagrożenia stwarzanego przez konkretną osobę.
Późniejsza treść jest dowodem na to, że wyświetlono inną odpowiedź. Dostępne materiały nie rozstrzygają jednak, kiedy dokładnie nastąpiła zmiana, czy objęła ona wszystkich użytkowników ani czy Google wprowadziło ją konkretnie w reakcji na wpis Suleimana.
Według dostępnych relacji Google przyznało, że wyniki w tej kategorii „nie są takie, jakie powinny być”, i poinformowało, że pracuje nad poprawą systemu. Jest to zgodne z szerszą praktyką firmy, która zachęca użytkowników do zgłaszania nieprawdziwych, stronniczych lub problematycznych podsumowań AI za pomocą przycisków opinii znajdujących się pod odpowiedzią.
Przedstawione materiały nie zawierają szczegółowego technicznego wyjaśnienia Google dotyczącego nierównych odpowiedzi. Nie można więc ustalić, czy ich głównym źródłem było zachowanie modelu, treści pobierane z internetu, mechanizmy bezpieczeństwa, czy też połączenie tych czynników.
AI Overviews pojawia się wysoko nad tradycyjnymi wynikami wyszukiwania, dlatego wygenerowana odpowiedź może wyglądać na wiarygodną nawet wtedy, gdy jest niepoparta źródłami albo po prostu błędna. Funkcja była już krytykowana za absurdalne rekomendacje, między innymi sugestię dodawania kleju do pizzy i jedzenia kamieni, a także za powielanie fałszywego twierdzenia, że Barack Obama był muzułmaninem.
Inne publikacje zwracały uwagę na nieprawdziwe informacje dotyczące zdrowia w generowanych przez AI podsumowaniach wyszukiwania. W osobnej analizie cytowanej przez Futurism oszacowano, że generowane podsumowania były poprawne w około 91 proc. przypadków. Nawet taki wynik oznaczałby jednak ogromną liczbę błędnych odpowiedzi przy skali wyszukiwarki Google.
Dostarczone źródła nie dokumentują konkretnych szczegółów zarzutów dotyczących rzekomo nieprawidłowego generowania obrazów osób różnych ras przez Gemini, dlatego nie należy traktować tych twierdzeń jako potwierdzonych w tym materiale. Pokazują jednak szerszy, powtarzający się problem: systemy zaprojektowane do streszczania informacji mogą tworzyć pewne siebie, społecznie szkodliwe lub fałszywe odpowiedzi, a korekty pojawiają się dopiero wtedy, gdy użytkownicy zwrócą na nie uwagę.
AI Overview warto traktować jako punkt wyjścia, a nie ostateczne źródło wiedzy — szczególnie gdy odpowiedź dotyczy bezpieczeństwa, tożsamości, religii lub narodowości. Dobrze jest porównywać podobne zapytania, sprawdzać linki, na których oparto podsumowanie, i zgłaszać stronnicze lub nieprawdziwe wyniki za pomocą narzędzi opinii Google.
Najważniejsze jest jednak to, że bezpieczeństwo powinno oceniać się na podstawie zachowania i okoliczności, a nie narodowości, rasy czy religii drugiej osoby. Ta kontrowersja pokazuje, dlaczego takie rozróżnienie musi być uwzględnione zarówno w zasadach bezpieczeństwa modelu, jak i w testach przeprowadzanych przed udostępnieniem odpowiedzi użytkownikom.