Les réponses de Google AI Overview sur les musulmans, les Ougandais et d’autres groupes suscitent des accusations de biais

Le problème ne tient donc pas à la présence d’un avertissement général sur la sécurité. Si une personne affirme se sentir menacée, lui conseiller de chercher de l’aide peut être approprié. Ce qui inquiète les observateurs, c’est que l’avertissement semble varier selon l’identité citée dans une phrase par ailleurs presque identique. Une politique de prudence peut alors se transformer implicitement en affirmation selon laquelle certains groupes seraient, par nature, plus dangereux que d’autres.

La réaction des internautes et des militants

Sur Reddit, des utilisateurs ont dénoncé un traitement à deux vitesses. Futurism a estimé que les formulations orientées vers les secours renforçaient des stéréotypes raciaux préjudiciables. Des militants en ligne se sont aussi concentrés sur le contraste rapporté entre les requêtes concernant un musulman et un Israélien, qu’ils ont qualifié de biais anti-musulman.

L’imam Omar Suleiman a partagé une réponse rejetant l’idée qu’une personne musulmane devrait être considérée comme dangereuse en raison de sa foi. Une capture ultérieure attribuée à son compte décrit le fait d’être seul avec un musulman comme une situation normale et rappelle que le partage d’une religion ne permet pas de déterminer le caractère ou le niveau de dangerosité d’un individu.

Cette formulation constitue un indice qu’une réponse différente a bien été affichée, mais les éléments disponibles ne précisent ni la date exacte du changement, ni son éventuelle application générale, ni le fait que Google l’aurait modifiée spécifiquement en réaction à la publication de l’imam Suleiman.

La réponse de Google

Selon les informations disponibles, Google a reconnu que les résultats de cette catégorie « ne correspondent pas à ce qu’ils devraient être » et a déclaré travailler à leur amélioration. Cette réaction s’inscrit dans le dispositif de signalement de l’entreprise : au bas d’un résumé AI Overview, les utilisateurs peuvent indiquer qu’une réponse est inexacte, biaisée ou problématique et envoyer des précisions à Google.

Les éléments fournis ne contiennent pas d’explication technique détaillée de Google sur l’origine de ces différences. Il est donc impossible d’établir si les réponses proviennent principalement du comportement du modèle, des contenus récupérés sur le Web, des règles de sécurité ou d’une interaction entre ces différents mécanismes.

Un épisode qui s’inscrit dans une série de ratés

Les AI Overviews apparaissent en bonne place au-dessus des résultats de Google Search. Une réponse générée peut donc sembler particulièrement fiable, même lorsqu’elle est fausse ou dépourvue de fondement solide. La fonctionnalité avait déjà été critiquée pour des recommandations absurdes, comme l’ajout de colle sur une pizza ou la consommation de pierres, ainsi que pour avoir repris une fausse affirmation présentant Barack Obama comme musulman.

D’autres articles ont fait état d’informations de santé inexactes dans des résumés générés par l’IA, avec un risque potentiel pour les utilisateurs. Une analyse citée par Futurism a estimé que les résumés générés par l’IA étaient exacts dans environ 91 % des cas. Même un tel taux laisserait un volume considérable de réponses erronées compte tenu de l’échelle du moteur de recherche de Google.

Les sources disponibles ne documentent pas suffisamment les détails d’une prétendue génération d’images raciales inexactes par Gemini : ces éléments ne doivent donc pas être présentés comme établis. Elles mettent néanmoins en lumière un problème plus large et récurrent : des systèmes conçus pour synthétiser l’information peuvent produire avec assurance des réponses fausses, stigmatisantes ou socialement dangereuses, avant d’être corrigés après leur signalement par les utilisateurs.

Le réflexe à adopter face à une réponse sensible

Une AI Overview doit être considérée comme un point de départ, et non comme une autorité définitive — en particulier lorsqu’elle formule des affirmations sur la sécurité, l’identité, la religion ou la nationalité d’une personne. Il est préférable de consulter les liens sous-jacents, de comparer les réponses à des requêtes similaires et de signaler les résultats biaisés ou inexacts via les outils de retour de Google.

Surtout, l’évaluation d’un danger doit reposer sur les comportements et les circonstances, jamais sur la nationalité, la race ou la religion d’une personne. Cette controverse rappelle que cette distinction doit être intégrée aux règles de sécurité des modèles, mais aussi aux tests menés avant la mise à disposition de leurs réponses.