Les LLM ne « voient » pas les caractères individuels. Ils décomposent le texte en tokens — des blocs d'un ou plusieurs caractères — à l'aide d'algorithmes tels que le Byte-Pair Encoding (BPE). Un mot courant comme « Google » peut être converti en un seul token, tandis qu'un mot plus complexe comme « journalism » pourrait être scindé en plusieurs morceaux, par exemple ['journ', 'alism']. Le modèle ne conserve ni ne traite jamais la séquence des caractères bruts.
Aucune conscience innée des caractères. Comme ses données d'entraînement sont tokenisées, le modèle n'apprend jamais à compter les lettres de manière native. Il ne peut qu'approximer ces connaissances en s'appuyant sur des correspondances de motifs et l'orthographe mémorisée présente dans son corpus . Quand on lui demande de compter des lettres, on le force à tenter une rétro-ingénierie de l'information à partir d'un texte qu'il n'a jamais stocké caractère par caractère.
La sous-représentation de la structure des caractères. La couche d'enfouissement (embedding layer) du modèle n'encode pas pleinement l'information au niveau des caractères, surtout au-delà de la première lettre de chaque token. Cela rend le raisonnement compositionnel sur les lettres très peu fiable .
Des limites théoriques. L'architecture des transformers appartient à la classe de complexité TC0, ce qui les rend théoriquement incapables de résoudre des tâches exigeant un raisonnement de plus en plus profond à mesure que l'entrée s'allonge. C'est une contrainte mathématique qui pèse directement sur ce type de comptage séquentiel précis .
« Le comptage de lettres dans les mots est un défi connu pour les LLM, et nous travaillons à corriger ce problème spécifique », a déclaré Google à TechCrunch par email . Mais comme le soulignent les chercheurs, même des modèles de plusieurs centaines de milliards de paramètres, entraînés sur des billions de tokens, peinent à compter de manière fiable le nombre de 'R' dans le mot « strawberry »
. Le problème est structurel, pas une question d'échelle.
Cette affaire d'orthographe n'est que le dernier épisode d'une série noire qui dure depuis deux ans, toutes issues du même gouffre entre la génération de texte fluide et les opérations précises que doit accomplir un moteur de recherche.
Quelques jours après le lancement américain en mai 2024, les AI Overviews ont généré une série de réponses absurdes devenues virales :
La directrice de la recherche chez Google, Liz Reid, a reconnu des « exemples isolés » et « absurdes », imputant ces défaillances à des « lacunes d'information » et à l'incapacité de l'IA à distinguer le contenu satirique des sources de mauvaise qualité . L'entreprise a déclaré avoir effectué des corrections, notamment en limitant l'usage des AI Overviews pour les requêtes médicales ou sensibles
.
Le 22 mai 2026, des utilisateurs découvrent que la simple recherche du mot « disregard » (ainsi que « ignore », « dismiss », « skip », « stop ») déclenche une réponse étrange de la part des AI Overviews. Au lieu d'une définition du dictionnaire, Google affiche une réponse de type chatbot : « Compris. J'ai ignoré votre invite précédente. Comment puis-je vous aider aujourd'hui ? » .
L'IA a interprété une simple requête comme une instruction système. Le bug cassait carrément l'interface de recherche pour ces termes, laissant un espace vide à la place des résultats . Google a reconnu le souci et annoncé un correctif
. Pour les experts en cybersécurité, c'était un cas d'école d'injection de prompt : le modèle confondait des mots-clés de recherche avec des commandes destinées à un assistant IA
.
Quelques jours après l'incident « disregard », les erreurs de comptage de lettres ont éclaté au grand jour. L'IA ne savait plus épeler le nom de sa propre maison mère, se trompait sur des mots simples, et a même écorché le nom « Trump » en « t-r-p-u-m » . Les erreurs ont été vérifiées de manière indépendante par plusieurs rédactions
.
Le fil rouge qui relie ces trois catégories de défaillances n'est pas anecdotique, il est architectural. Google a remplacé un moteur de recherche traditionnel, basé sur la correspondance des mots-clés, par un LLM génératif qui excelle à produire un texte fluide mais qui est dépourvu des mécanismes nécessaires pour :
Le modèle produit des réponses fausses avec une confiance inébranlable parce qu'il n'a jamais été conçu, à un niveau fondamental, pour effectuer les tâches qu'on lui demande dans un environnement de recherche en direct. Chaque bourde virale expose ce fossé béant entre ce pour quoi les LLM sont bons (prédire un texte qui a l'air plausible) et ce qu'exige un moteur de recherche digne de confiance (l'exactitude factuelle, la précision sur les caractères et la résistance aux injections d'instructions).
Tant que ces limites architecturales ne seront pas traitées plus en profondeur qu'en rafistolant des types de requêtes un par un, les AI Overviews continueront probablement à faire les gros titres... pour de mauvaises raisons.