Laporan lain menggambarkan perbedaan serupa pada label agama dan kebangsaan:

• Prompt tentang berada sendirian dengan seorang Muslim dilaporkan menghasilkan bahasa terkait keselamatan, termasuk saran untuk meninggalkan area atau mencari bantuan jika pengguna merasa tidak aman.
• Prompt pembanding tentang berada sendirian dengan seorang Israel dilaporkan mendapat jawaban yang lebih netral, sehingga muncul tuduhan Islamofobia.
• Versi tentang seorang Amerika disebut menjawab bahwa berada sendirian dengan seseorang dari Amerika Serikat “sepenuhnya wajar” dan menyarankan percakapan normal serta sikap sopan.
• Versi tentang seorang Brit dilaporkan memberi saran sosial yang stereotip, tetapi tidak bernuansa ancaman—misalnya menawarkan teh, membicarakan cuaca, dan menjaga jarak secara sopan.
• Pemberitaan juga menyebut jawaban yang kurang ramah untuk prompt terkait orang Uganda, meski susunan kata persisnya tidak disajikan secara konsisten dalam bukti yang tersedia.

Masalahnya bukan semata-mata karena sistem menyebut keselamatan. Peringatan umum memang bisa relevan jika pengguna mengatakan dirinya sedang terancam. Kekhawatirannya adalah peringatan tersebut tampak berubah hanya karena identitas yang disebut dalam prompt hampir sama. Jika benar, kebijakan keselamatan yang seharusnya netral dapat terbaca sebagai anggapan bahwa kelompok tertentu secara inheren lebih berbahaya daripada kelompok lain.

Reaksi pengguna, Futurism, dan aktivis

Pengguna Reddit menyoroti perbedaan jawaban itu sebagai standar ganda. Futurism menilai bahasa yang mendorong pengguna menghubungi layanan darurat berpotensi memperkuat stereotip rasial. Aktivis di media sosial juga berfokus pada perbedaan respons untuk prompt tentang Muslim dan Israel, lalu menuduh sistem menunjukkan bias anti-Muslim.

Imam Omar Suleiman membagikan respons yang menolak anggapan bahwa seseorang harus diperlakukan sebagai ancaman hanya karena beragama Islam. Dalam tangkapan layar lain yang dikaitkan dengan akunnya, jawaban AI menyebut bahwa berada sendirian dengan seorang Muslim adalah hal yang normal dan bahwa kesamaan agama tidak menentukan karakter atau tingkat ancaman seseorang.

Namun, tangkapan layar tersebut hanya menunjukkan bahwa respons berbeda pernah ditampilkan. Materi yang tersedia tidak memastikan kapan perubahan itu dilakukan, apakah diterapkan secara universal, atau apakah Google mengubahnya secara khusus setelah unggahan Suleiman.

Respons Google dan apa yang belum jelas

Menurut pemberitaan yang tersedia, Google mengakui bahwa hasil dalam kategori ini “belum seperti yang seharusnya” dan menyatakan sedang mengerjakan perbaikan. Google juga menyediakan tombol umpan balik pada bagian bawah AI Overview agar pengguna dapat melaporkan jawaban yang tidak akurat, bias, atau bermasalah.

Belum ada penjelasan teknis terperinci dalam sumber yang tersedia mengenai penyebab keluaran yang tidak setara tersebut. Karena itu, bukti yang ada belum dapat memastikan apakah respons tersebut terutama berasal dari perilaku model, konten web yang diambil sistem, logika keselamatan, atau gabungan beberapa faktor.

Bukan pertama kalinya AI Google dikritik

Kontroversi ini penting karena AI Overview tampil di bagian atas Google Search. Posisi tersebut dapat membuat jawaban yang dihasilkan AI terlihat otoritatif, bahkan ketika isinya tidak didukung bukti atau keliru.

Sebelumnya, fitur itu dikritik karena menghasilkan rekomendasi aneh—termasuk menyarankan pengguna menaruh lem pada pizza dan memakan batu—serta mengulang klaim palsu bahwa Barack Obama adalah seorang Muslim.

Pemberitaan lain juga menyoroti informasi kesehatan yang tidak akurat dalam ringkasan pencarian berbasis AI. Analisis yang dikutip Futurism memperkirakan ringkasan AI memiliki tingkat akurasi sekitar 91 persen. Angka tersebut mungkin terdengar tinggi, tetapi pada skala pencarian Google, persentase kesalahan yang tersisa tetap dapat berarti jumlah jawaban keliru yang sangat besar.

Sumber yang tersedia tidak mendokumentasikan secara spesifik klaim tentang pembuatan gambar rasial yang tidak akurat oleh Gemini, sehingga klaim tersebut tidak seharusnya dianggap terbukti dalam artikel ini. Meski demikian, kasus AI Overview memperlihatkan masalah yang lebih luas: sistem yang dirancang untuk merangkum informasi dapat menghasilkan jawaban yang terdengar yakin, tetapi tetap keliru, bias, atau merugikan kelompok tertentu.

Pelajaran bagi pengguna AI pencarian

Anggap AI Overview sebagai titik awal, bukan sumber terakhir—terutama ketika jawabannya menyangkut keselamatan, agama, ras, kebangsaan, atau identitas seseorang. Bandingkan prompt yang serupa, buka tautan sumber di balik ringkasan, dan laporkan hasil yang bias atau tidak akurat melalui fitur umpan balik Google.

Yang paling penting, penilaian tentang keselamatan seharusnya didasarkan pada perilaku dan situasi nyata, bukan pada kebangsaan, ras, atau agama seseorang. Kontroversi ini menunjukkan bahwa prinsip tersebut perlu tertanam dalam aturan keselamatan model sekaligus dalam pengujian sebelum jawaban AI ditampilkan kepada publik.

Laporan lain menggambarkan perbedaan serupa pada label agama dan kebangsaan:

• Prompt tentang berada sendirian dengan seorang Muslim dilaporkan menghasilkan bahasa terkait keselamatan, termasuk saran untuk meninggalkan area atau mencari bantuan jika pengguna merasa tidak aman.
• Prompt pembanding tentang berada sendirian dengan seorang Israel dilaporkan mendapat jawaban yang lebih netral, sehingga muncul tuduhan Islamofobia.
• Versi tentang seorang Amerika disebut menjawab bahwa berada sendirian dengan seseorang dari Amerika Serikat “sepenuhnya wajar” dan menyarankan percakapan normal serta sikap sopan.
• Versi tentang seorang Brit dilaporkan memberi saran sosial yang stereotip, tetapi tidak bernuansa ancaman—misalnya menawarkan teh, membicarakan cuaca, dan menjaga jarak secara sopan.
• Pemberitaan juga menyebut jawaban yang kurang ramah untuk prompt terkait orang Uganda, meski susunan kata persisnya tidak disajikan secara konsisten dalam bukti yang tersedia.

Masalahnya bukan semata-mata karena sistem menyebut keselamatan. Peringatan umum memang bisa relevan jika pengguna mengatakan dirinya sedang terancam. Kekhawatirannya adalah peringatan tersebut tampak berubah hanya karena identitas yang disebut dalam prompt hampir sama. Jika benar, kebijakan keselamatan yang seharusnya netral dapat terbaca sebagai anggapan bahwa kelompok tertentu secara inheren lebih berbahaya daripada kelompok lain.

Reaksi pengguna, Futurism, dan aktivis

Pengguna Reddit menyoroti perbedaan jawaban itu sebagai standar ganda. Futurism menilai bahasa yang mendorong pengguna menghubungi layanan darurat berpotensi memperkuat stereotip rasial. Aktivis di media sosial juga berfokus pada perbedaan respons untuk prompt tentang Muslim dan Israel, lalu menuduh sistem menunjukkan bias anti-Muslim.

Imam Omar Suleiman membagikan respons yang menolak anggapan bahwa seseorang harus diperlakukan sebagai ancaman hanya karena beragama Islam. Dalam tangkapan layar lain yang dikaitkan dengan akunnya, jawaban AI menyebut bahwa berada sendirian dengan seorang Muslim adalah hal yang normal dan bahwa kesamaan agama tidak menentukan karakter atau tingkat ancaman seseorang.

Namun, tangkapan layar tersebut hanya menunjukkan bahwa respons berbeda pernah ditampilkan. Materi yang tersedia tidak memastikan kapan perubahan itu dilakukan, apakah diterapkan secara universal, atau apakah Google mengubahnya secara khusus setelah unggahan Suleiman.

Respons Google dan apa yang belum jelas

Menurut pemberitaan yang tersedia, Google mengakui bahwa hasil dalam kategori ini “belum seperti yang seharusnya” dan menyatakan sedang mengerjakan perbaikan. Google juga menyediakan tombol umpan balik pada bagian bawah AI Overview agar pengguna dapat melaporkan jawaban yang tidak akurat, bias, atau bermasalah.

Belum ada penjelasan teknis terperinci dalam sumber yang tersedia mengenai penyebab keluaran yang tidak setara tersebut. Karena itu, bukti yang ada belum dapat memastikan apakah respons tersebut terutama berasal dari perilaku model, konten web yang diambil sistem, logika keselamatan, atau gabungan beberapa faktor.

Bukan pertama kalinya AI Google dikritik

Kontroversi ini penting karena AI Overview tampil di bagian atas Google Search. Posisi tersebut dapat membuat jawaban yang dihasilkan AI terlihat otoritatif, bahkan ketika isinya tidak didukung bukti atau keliru.

Sebelumnya, fitur itu dikritik karena menghasilkan rekomendasi aneh—termasuk menyarankan pengguna menaruh lem pada pizza dan memakan batu—serta mengulang klaim palsu bahwa Barack Obama adalah seorang Muslim.

Pemberitaan lain juga menyoroti informasi kesehatan yang tidak akurat dalam ringkasan pencarian berbasis AI. Analisis yang dikutip Futurism memperkirakan ringkasan AI memiliki tingkat akurasi sekitar 91 persen. Angka tersebut mungkin terdengar tinggi, tetapi pada skala pencarian Google, persentase kesalahan yang tersisa tetap dapat berarti jumlah jawaban keliru yang sangat besar.

Sumber yang tersedia tidak mendokumentasikan secara spesifik klaim tentang pembuatan gambar rasial yang tidak akurat oleh Gemini, sehingga klaim tersebut tidak seharusnya dianggap terbukti dalam artikel ini. Meski demikian, kasus AI Overview memperlihatkan masalah yang lebih luas: sistem yang dirancang untuk merangkum informasi dapat menghasilkan jawaban yang terdengar yakin, tetapi tetap keliru, bias, atau merugikan kelompok tertentu.

Pelajaran bagi pengguna AI pencarian

Anggap AI Overview sebagai titik awal, bukan sumber terakhir—terutama ketika jawabannya menyangkut keselamatan, agama, ras, kebangsaan, atau identitas seseorang. Bandingkan prompt yang serupa, buka tautan sumber di balik ringkasan, dan laporkan hasil yang bias atau tidak akurat melalui fitur umpan balik Google.

Yang paling penting, penilaian tentang keselamatan seharusnya didasarkan pada perilaku dan situasi nyata, bukan pada kebangsaan, ras, atau agama seseorang. Kontroversi ini menunjukkan bahwa prinsip tersebut perlu tertanam dalam aturan keselamatan model sekaligus dalam pengujian sebelum jawaban AI ditampilkan kepada publik.