Claude Opus 4.7 vs GPT-5.5 Spud : ce que les preuves disent vraiment

Le verdict étayé par les sources

Cela ne prouve pas qu’un futur modèle, ou un modèle privé, appelé Spud ne puisse jamais exister. Cela signifie simplement que les preuves citées ici ne permettent pas de traiter GPT-5.5 Spud comme un modèle officiel OpenAI, ni de proclamer un gagnant sur le terrain des hallucinations.

Ce que l’on sait vraiment sur Claude Opus 4.7

La source la plus solide côté Anthropic est la documentation produit, pas un classement public opposant plusieurs fournisseurs. Anthropic indique que claude-opus-4-7 est disponible via l’API Claude , et sa documentation précise que Claude Opus 4.7 introduit des « task budgets », c’est-à-dire des budgets de tâche .

Ces budgets peuvent être utiles pour piloter un produit ou encadrer un usage. Mais ils ne constituent pas, à eux seuls, une mesure publique de l’incertitude calibrée. Autrement dit, ils ne disent pas précisément quand le modèle reconnaît qu’il ne sait pas, demande une clarification ou refuse de formuler une réponse factuelle non étayée.

Il existe toutefois un signal lié à l’honnêteté. Mashable rapporte, en citant la fiche système d’Anthropic, que Claude Opus 4.7 obtient un taux d’honnêteté MASK de 91,7 % et qu’il serait moins susceptible d’halluciner ou de faire de la complaisance que de précédents modèles Anthropic et d’autres modèles d’IA de pointe . C’est pertinent, mais cela ne répond pas à la comparaison Claude-versus-Spud : il ne s’agit pas d’un benchmark apparié contre un modèle GPT-5.5 Spud officiellement vérifié.

Ce que les sources OpenAI disent à la place

Les documents OpenAI fournis vérifient plusieurs références de la famille GPT-5 : GPT-5, GPT-5 mini, GPT-5.2-Codex et des recommandations de prompt pour GPT-5.4 . La piste « Spud », dans cet ensemble de sources, vient de Reddit et d’un fil de l’OpenAI Developer Community . Ces signaux communautaires peuvent indiquer des rumeurs ou des attentes d’utilisateurs, mais ils ne valent pas une page officielle de modèle, une model card, un identifiant d’API ou une annonce de sortie.

Le texte d’OpenAI sur les hallucinations est en revanche utile pour comprendre comment évaluer les modèles. OpenAI y explique que les procédures courantes d’entraînement et d’évaluation récompensent souvent la tentative de réponse plutôt que l’aveu d’incertitude, et affirme qu’un modèle devrait signaler son incertitude ou demander des précisions plutôt que donner une information fausse avec assurance .

L’exemple SimpleQA d’OpenAI montre pourquoi un score unique d’exactitude peut être trompeur. OpenAI y liste gpt-5-thinking-mini avec 52 % d’abstention, 22 % d’exactitude et 26 % d’erreurs, tandis que o4-mini affiche 1 % d’abstention, 24 % d’exactitude et 75 % d’erreurs . Le premier modèle répond moins souvent, mais se trompe beaucoup moins dans cet exemple . Pour un usage en production — assistance client, recherche documentaire, analyse interne — ce compromis peut compter davantage qu’un modèle qui répond avec aplomb à chaque question.

Le vrai critère : l’incertitude calibrée

Réduire les hallucinations ne veut pas dire transformer un modèle en machine à refuser. Un bon système doit répondre lorsque les preuves sont solides, poser une question quand la demande est ambiguë, et s’abstenir quand la réponse ne peut pas être soutenue. C’est cela, l’incertitude calibrée : ne pas seulement « savoir », mais savoir quand on ne sait pas assez.

La littérature de recherche va dans ce sens, avec prudence. Une étude de 2024 rapporte que l’abstention fondée sur l’incertitude améliore la correction, réduit les hallucinations et renforce la sécurité dans des contextes de questions-réponses . I-CALM définit l’abstention épistémique comme le fait de s’abstenir sur des questions factuelles ayant une réponse vérifiable, et note que les grands modèles de langage peuvent encore échouer à s’abstenir lorsqu’ils le devraient . Des travaux sur l’apprentissage par renforcement comportementalement calibré étudient aussi comment inciter les modèles à admettre leur incertitude en s’abstenant .

Des revues plus larges présentent la quantification de l’incertitude comme un outil de détection des hallucinations et décrivent l’incertitude calibrée comme utile pour décider quand faire confiance à une réponse, la vérifier ou la transmettre à un humain . La nuance est importante : une abstention excessive peut rendre un modèle sûr mais peu utile ; une absence totale d’abstention peut le rendre pratique mais risqué.

Comment tester équitablement Claude face à un modèle OpenAI

1. Utiliser des identifiants officiels. Pour Claude, tester claude-opus-4-7 ; côté OpenAI, choisir un modèle documenté comme GPT-5 ou GPT-5 mini plutôt qu’une étiquette Spud non vérifiée .
2. Construire un jeu de tests mixte. Il faut inclure des questions répondables, des demandes sous-spécifiées et des questions impossibles à résoudre ; la recherche sur l’abstention étudie précisément l’intérêt de refuser quand l’incertitude est élevée ou que la question ne peut pas recevoir de réponse sûre .
3. Noter l’abstention séparément. Compter les bonnes réponses, les mauvaises réponses, les abstentions correctes et les abstentions incorrectes. Les travaux de synthèse sur l’abstention définissent des métriques distinctes comme l’exactitude, la précision et le rappel de l’abstention .
4. Ne pas confondre incertitude factuelle et refus de sécurité. Refuser une demande dangereuse n’est pas la même chose que dire qu’il n’y a pas assez d’éléments pour répondre à une question factuelle ; I-CALM se concentre spécifiquement sur l’abstention épistémique pour les questions factuelles à réponse vérifiable .
5. Publier ensemble exactitude, taux d’erreur et taux d’abstention. L’exemple SimpleQA d’OpenAI montre qu’un modèle qui s’abstient beaucoup plus peut avoir une exactitude proche, mais un taux d’erreur bien plus faible .
6. Garder l’environnement constant. Accès au web, recherche documentaire, outils, longueur de contexte et instructions système peuvent changer les résultats. Si un modèle reçoit plus de preuves que l’autre, on teste aussi le dispositif, pas seulement le modèle.

FAQ

GPT-5.5 Spud est-il réel ?

Pas comme modèle officiel OpenAI dans les preuves fournies. Les sources officielles OpenAI citées ici documentent GPT-5, GPT-5 mini, GPT-5.2-Codex et des recommandations pour GPT-5.4, tandis que Spud apparaît dans des publications Reddit et dans un fil communautaire de demande de fonctionnalité .

Claude Opus 4.7 hallucine-t-il moins que GPT-5.5 Spud ?

Impossible de répondre rigoureusement avec ces sources. Claude Opus 4.7 est documenté , et un article secondaire rapporte un taux d’honnêteté MASK de 91,7 % . Mais il n’existe pas ici de cible GPT-5.5 Spud vérifiée ni de benchmark commun entre les deux noms .

Que devraient comparer les acheteurs ou les équipes produit ?

Ils devraient comparer Claude Opus 4.7 à des modèles OpenAI documentés, sur les mêmes tâches, avec les mêmes outils, les mêmes prompts et les mêmes règles de notation. Le bon tableau de bord doit combiner exactitude, taux d’erreur et comportement d’abstention, plutôt que de se limiter à l’exactitude .

À retenir

Il ne faut pas conclure que « Claude gagne » ou que « Spud gagne » à partir de ces éléments. La conclusion défendable est plus sobre : Claude Opus 4.7 est officiellement documenté ; GPT-5.5 Spud n’est pas vérifié dans les documents officiels OpenAI cités ; et la meilleure manière d’évaluer le contrôle des hallucinations consiste à récompenser l’incertitude calibrée, y compris l’abstention correcte lorsqu’une affirmation ne peut pas être étayée .