Comment AVO a conduit Claude Opus 5 à un score parfait sur ARC-AGI-3

NVIDIA affirme que son système Agentic Variation Operators (AVO) a obtenu un score parfait de 100,00 RHAE sur l’ensemble public du benchmark interactif ARC-AGI-3. Associé à Claude Opus 5, AVO a réussi les 183 niveaux répartis dans 25 environnements, en 6 624 actions.

Le point le plus intéressant n’est pas l’arrivée soudaine d’un nouveau modèle capable de résoudre le benchmark. C’est le fait qu’une architecture d’agent conçue pour le génie logiciel et l’optimisation de noyaux GPU ait été transférée avec succès à une tâche de raisonnement interactif très différente.

L’essentiel : AVO a renforcé le système autour du modèle

Dans un instantané publié du classement ARC-AGI-3, Claude Opus 5 était crédité de 30,2 %, tandis que GPT-5.6 Sol obtenait 7,8 % dans le cadre d’évaluation standard.

Le résultat d’AVO repose sur le même type de modèle sous-jacent, mais intégré à un système d’exécution conçu pour maintenir le travail sur un grand nombre d’étapes. L’agent peut inspecter et modifier des artefacts, exécuter des outils et des commandes, consulter de la documentation, évaluer les résultats et revoir son approche en fonction de retours observables.

En pratique, AVO remplace le schéma question-réponse en une seule passe par une boucle continue :

1. formuler une hypothèse sur la tâche ;
2. effectuer une action avec un outil disponible ;
3. observer la réponse de l’environnement ;
4. conserver les découvertes et l’état utiles ;
5. vérifier si le résultat fonctionne ;
6. corriger la stratégie et poursuivre.

Cette boucle est particulièrement importante dans ARC-AGI-3. L’agent doit explorer des environnements inconnus et déduire leurs règles ainsi que leurs objectifs par l’interaction, au lieu de répondre à une consigne entièrement détaillée.

Ce que l’architecture d’AVO apporte

Le système réunit plusieurs capacités relativement simples à décrire séparément, mais puissantes lorsqu’elles sont coordonnées sur une longue séquence d’actions.

Une mémoire persistante

La mémoire persistante permet à l’agent de conserver ses découvertes, ses tentatives infructueuses et l’état utile de la tâche, plutôt que de traiter chaque action comme un échange isolé. Dans un benchmark fondé sur l’exploration, cette continuité peut limiter la répétition des erreurs et aider le système à construire progressivement une représentation fonctionnelle d’un environnement inconnu.

Des outils d’exécution et des retours concrets

AVO a été développé comme un agent de programmation capable d’inspecter un travail, de le modifier, d’exécuter des commandes et de valider les résultats. Son raisonnement reste ainsi relié à des observations : une modification proposée peut être testée, mesurée puis révisée, au lieu d’être acceptée simplement parce qu’elle paraît plausible.

Supervision et récupération

Une couche de supervision aide à coordonner le processus dans la durée. Plutôt que de laisser un unique appel au modèle contrôler indéfiniment chaque décision, le système peut suivre l’avancement, repérer les directions improductives et faciliter la reprise lorsqu’une hypothèse échoue. Les descriptions publiées par NVIDIA et d’autres sources présentent AVO comme une combinaison de mémoire, d’outils d’exécution, de retours externes et de supervision pour des tâches autonomes prolongées.

Ensemble, ces composants donnent au modèle un cadre structuré pour explorer, agir, observer et corriger. Le modèle fournit une grande partie du raisonnement, mais le « harnais » logiciel — l’ensemble des mécanismes qui l’entourent — détermine la façon dont ce raisonnement est appliqué dans l’environnement.

Comment le résultat se compare-t-il à Claude Opus 5 et GPT-5.6 Sol ?

La comparaison est éclairante, mais les scores doivent être lus à la lumière de leurs conditions d’évaluation.

Système ou configuration	Résultat ARC-AGI-3 rapporté	Contexte de l’évaluation
AVO avec Claude Opus 5	100,00 RHAE	Ensemble public ; 183 niveaux sur 183 réussis
Claude Opus 5 seul	30,2 %	Instantané publié du classement et configuration de comparaison standard
GPT-5.6 Sol	7,8 %	Comparaison standard ou semi-privée vérifiée
GPT-5.6 Sol avec raisonnement conservé et compaction	38,3 %	Exécution personnalisée rapportée par OpenAI sur les tâches publiques

Les chiffres d’AVO et de Claude Opus 5 seul ne mesurent pas exactement la même chose. Le premier correspond au résultat d’un système d’agent complet sur l’ensemble public ; le second est un score de modèle obtenu avec un harnais de benchmark. Cette distinction est au cœur de l’annonce.

GPT-5.6 Sol illustre le même phénomène sous un autre angle. Les résultats publiés par ARC Prize donnent à Sol 7,78 % avec un effort de raisonnement maximal, tandis qu’OpenAI a rapporté séparément 38,3 % sur les tâches publiques en conservant le raisonnement entre les tours et en utilisant la compaction. Ces chiffres ne remplacent pas le score officiel du classement et ne constituent pas une comparaison parfaitement équivalente. Ils montrent toutefois que la mémoire et la gestion de l’état peuvent modifier sensiblement les performances d’un agent.

La conclusion la plus prudente n’est donc pas qu’un modèle serait meilleur dans toutes les situations. Elle est que la performance autonome dépend largement de l’association entre le modèle, la politique de mémoire, l’interface des outils, la gestion de l’état et le dispositif d’évaluation.

Pourquoi AVO vient de l’optimisation de noyaux GPU

Le premier terrain d’expérimentation d’AVO était le génie logiciel complexe et l’optimisation de noyaux GPU. Dans ce contexte, un agent doit inspecter une implémentation, proposer une modification, lancer des tests fondés sur le matériel, interpréter les retours de performance et décider de la prochaine piste à explorer. La réussite repose sur une succession d’expériences, et non sur une génération correcte en une seule tentative.

NVIDIA indique qu’AVO a exploré plus de 500 directions, validé 40 versions de noyaux et obtenu jusqu’à 10,5 % de performances supplémentaires par rapport à FlashAttention-4 sur des systèmes DGX B200.

La capacité transférable n’est donc pas nécessairement une connaissance spécifique des noyaux GPU. Il s’agit plutôt d’un processus expérimental robuste : produire un candidat, l’exécuter, mesurer le résultat, conserver ce qui a été appris et changer de direction lorsque les observations contredisent l’hypothèse. ARC-AGI-3 utilise une interface différente, mais récompense lui aussi les agents capables de découvrir une structure par interactions successives.

Une attention particulière portée à l’efficacité des actions

AVO aurait résolu l’ensemble public en 6 624 actions dans l’environnement, contre 7 542 pour VISTA, soit une réduction d’environ 12 % tout en réussissant les mêmes 183 niveaux.

Ce point compte, car la métrique RHAE d’ARC-AGI-3 intègre l’efficacité des actions par rapport aux performances humaines, et pas uniquement l’atteinte finale d’un état réussi. Un système opérant sur un long horizon doit donc maîtriser son exploration : trop d’essais et d’erreurs peuvent rendre un agent pourtant compétent inefficace, coûteux ou difficile à déployer.

Ce que cela change pour l’IA en entreprise

Pour les entreprises, le principal enseignement est architectural. Un système autonome fiable ne sera probablement pas qu’un grand modèle de langage relié à quelques outils. Il lui faut une couche d’exécution gouvernée autour du modèle.

Cette couche peut notamment comprendre :

• une mémoire persistante et une gestion explicite de l’état des tâches ;
• des interfaces d’outils limitées et testables ;
• des étapes de validation avant l’acceptation d’actions importantes ;
• des étapes intermédiaires observables et des journaux d’audit ;
• des mécanismes de récupération, d’annulation et d’escalade ;
• des autorisations clairement définies pour les actions touchant aux clients, aux systèmes ou aux données.

Le résultat d’AVO renforce aussi l’intérêt des architectures d’agents modulaires. Si une part importante des gains provient du harnais, les organisations ont intérêt à séparer la mémoire, les adaptateurs d’outils, les suites d’évaluation, les contrôles de politique et l’observabilité du modèle de fondation. Elles peuvent ainsi comparer plusieurs modèles, changer de fournisseur ou adapter le système à un flux de travail particulier sans reconstruire toute la pile technique.

Il ne faut cependant pas considérer ce score comme une preuve de fiabilité en entreprise. Le résultat de 100 % annoncé par NVIDIA concerne l’ensemble public d’ARC-AGI-3. Il ne démontre pas une performance équivalente sur des tâches privées, des données de production ou des processus métier à haut risque. Une réplication indépendante, des tests sur des ensembles cachés, une analyse des coûts et de la latence, ainsi qu’un examen de la sécurité et de la sûreté restent nécessaires.

À retenir

Le résultat d’AVO déplace la question de « quel modèle est le plus intelligent ? » vers une interrogation plus opérationnelle : quel système sait conserver le contexte, utiliser des outils, apprendre des retours et se rétablir de manière fiable au fil d’un long processus ?

Le modèle reste essentiel, mais ARC-AGI-3 montre de façon spectaculaire que le harnais qui l’entoure peut déterminer si ses capacités résistent à la rencontre avec un environnement inconnu. Pour les organisations qui développent des systèmes autonomes, l’avantage concurrentiel pourrait de plus en plus résider dans la qualité du système d’exécution — et pas dans l’appel au modèle pris isolément.