RéponsesPublié19 sources
InAgent franchit 90 % sur OSWorld : le vrai enjeu est l’ingénierie du harnais
Intelligence Indeed affirme que son agent InAgent, également nommé Z Agent dans son annonce, a atteint 90,2 % sur la configuration OSWorld de 361 tâches, premier résultat rapporté au delà de 90 %. OSWorld mesure l’exécution de tâches dans de véritables environnements de bureau, avec des contrôles fondés sur l’état f...
Publié parModifié avec GPT-5.6 TerraImages générées avec GPT Image 2
Réponse de recherche
Points clés à retenir
- Intelligence Indeed affirme que son agent InAgent, également nommé Z Agent dans son annonce, a atteint 90,2 % sur la configuration OSWorld de 361 tâches, premier résultat rapporté au delà de 90 %.
- OSWorld mesure l’exécution de tâches dans de véritables environnements de bureau, avec des contrôles fondés sur l’état final de la machine, et non de simples réponses textuelles.
- Un taux de réussite de 90,2 % laisserait encore 9,8 % de tâches non finalisées : les processus sensibles exigent donc vérifications déterministes, permissions limitées, gestion des exceptions et validation humaine.
Prompt IA
openai.comCreate a landscape editorial hero image for this Studio Global article: How did Chinese company Intelligence Indeed’s InAgent become the first computer-use agent to exceed 90% on the OSWorld benchmark—achieving 9. Article summary: The reported result is best understood as a system-level achievement, not evidence that InAgent has a uniquely superior foundation model. InAgent reportedly combined model reasoning with an execution “harness” that plans. Topic tags: general, academic, general web, user generated. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, char
Intelligence Indeed a annoncé en août 2026 que son produit d’usage informatique — appelé Z-Agent dans son propre communiqué et InAgent dans d’autres articles — avait atteint 90,2 % de réussite sur OSWorld. L’entreprise affirme être ainsi devenue le premier participant rapporté à dépasser 90 %, tout en prenant la tête d’un sous-classement consacré aux frameworks agentiques. 18
22
Le principal enseignement ne tient toutefois pas à l’idée qu’un modèle aurait, à lui seul, résolu l’automatisation du poste de travail. Il est plutôt que les performances dépendent de plus en plus du harnais d’exécution (harness) : le logiciel qui transforme un plan produit par le modèle en actions contrôlées, vérifie leur résultat et traite les multiples incidents possibles dans un flux réel.
Ce qu’InAgent affirme avoir obtenu
Les résultats attribués à InAgent dans les publications fournies sont les suivants :
- 90,2 % de réussite globale ;
- 84,7 % sur les tâches impliquant plusieurs applications ;
- 92,3 % sur les tâches GIMP ;
- 100 % sur les tâches de niveau système.
22
Ces chiffres sont rapportés, et non issus d’un audit indépendant. Les éléments fournis ne contiennent pas de rapport technique public permettant d’isoler la contribution du modèle de base, des outils d’action, des invites, des paramètres d’évaluation ou des composants du harnais. C’est une nuance essentielle : un score d’agent évalue une configuration modèle + système, pas l’intelligence du modèle prise isolément.
Il faut également distinguer une revendication historique d’une position durable au classement. Un instantané de classement tiers daté de septembre 2026 place un autre système, Qwen3.8 Max, à 86,1 % sur OSWorld-Verified. Les classements et les configurations d’évaluation évoluent donc avec le temps. 3
Pourquoi OSWorld est un test exigeant
OSWorld a été conçu pour évaluer des agents qui agissent dans de vrais environnements informatiques, plutôt que de répondre à des questions sur une capture d’écran ou une page web simulée. Sa version initiale comprend 369 tâches réelles dans des applications comme Chromium, LibreOffice, GIMP, Thunderbird, VLC et Visual Studio Code, mais aussi des tâches au niveau du système d’exploitation et des scénarios entre plusieurs logiciels. L’évaluation repose sur des contrôles d’exécution à partir d’états initiaux configurés. 2
14
La configuration souvent employée compte 361 tâches, huit tâches Google Drive étant écartées car elles peuvent demander une préparation manuelle. 14
L’agent doit donc bien davantage que cliquer au bon endroit : il lui faut naviguer dans des interfaces, conserver le fil d’un processus en plusieurs étapes, modifier des fichiers ou l’état d’une application, puis laisser la machine dans la condition finale attendue.
Le contexte historique rend la revendication de 90,2 % notable. Dans la référence initialement publiée pour OSWorld, les humains accomplissaient plus de 72,36 % des tâches, contre 12,24 % pour le meilleur modèle. 14 Mais ce parallèle ne constitue pas une mesure universelle de la compétence professionnelle : les résultats dépendent de la sélection des tâches, de l’environnement, du budget d’actions, des outils et du harnais utilisé.
De l’invite au harnais d’exécution
L’ingénierie des prompts indique au modèle quoi faire. L’ingénierie du contexte détermine les informations qui lui sont fournies. L’ingénierie du harnais conçoit, elle, le système d’exécution : ce que l’agent observe, comment il agit, comment il conserve son état, vérifie l’achèvement et se remet d’un échec.
Une étude de synthèse sur la conception des systèmes agentiques décrit ce harnais comme l’infrastructure qui façonne la perception de l’agent, ses actions ainsi que sa capacité à détecter les erreurs et à s’en remettre. Cela comprend notamment la conception des observations et de l’espace d’action, l’isolation de l’exécution, la gestion du contexte et les boucles de vérification. 28
Pour un agent qui utilise un ordinateur, un harnais robuste doit généralement assurer six fonctions :
- Découper le flux de travail en sous-objectifs vérifiables. Au lieu de lui demander de « mettre à jour une commande », le système peut exiger qu’il trouve le dossier, valide les champs, réalise la modification, joigne une preuve et confirme la persistance du changement.
- Choisir la bonne interface d’action. Une API, une commande ou un outil structuré est souvent préférable à un clic de souris lorsqu’il est disponible et autorisé ; le contrôle graphique prend le relais lorsqu’aucune interface exploitable par machine n’existe.
- Conserver un état durable. L’agent doit savoir ce qu’il a terminé, dans quelle application il se trouve, quelles entités ou quels fichiers sont concernés et si une action peut être répétée sans danger.
- Vérifier le résultat dans le système de référence. L’affirmation du modèle selon laquelle l’opération est réussie ne suffit pas. Le harnais peut contrôler une réponse d’API, une valeur en base de données, un fichier sauvegardé ou l’état réel d’une application.
- Récupérer les incidents sans danger. Pages obsolètes, clics manqués, fenêtres surgissantes, délais d’expiration, soumissions partielles ou interruptions d’authentification doivent déclencher des politiques de reprise adaptées.
- Imposer permissions et traçabilité. Journaux, traces d’actions, validations préalables et identifiants aux droits restreints rendent les opérations à enjeu contrôlables et auditables.
Cette couche peut modifier sensiblement les résultats. Une étude indique que dix itérations d’ingénierie de harnais agentique ont fait passer le score pass@1 de Terminal-Bench 2 de 69,7 % à 77,0 %, au-dessus de la référence de 71,9 % attribuée à un harnais conçu par des humains. Il s’agit d’un autre benchmark : cela ne valide pas le score OSWorld d’InAgent, mais étaye l’idée que l’architecture d’exécution peut produire des gains importants sans simplement remplacer le modèle. 29
L’intérêt commercial d’un agent hybride API + interface graphique
L’attrait stratégique rapporté pour InAgent tient à une approche hybride : recourir aux interfaces programmatiques fiables là où elles existent, tout en conservant un contrôle graphique comparable à celui d’un humain pour les applications dépourvues d’API adaptées. 22
Cette conception répond à un problème concret en entreprise. De nombreux processus traversent à la fois des services modernes dotés d’API exploitables et des logiciels de bureau anciens, des portails fournisseurs ou des outils internes dont l’écran reste la seule voie pratique.
En théorie, l’agent peut choisir le chemin le plus fiable à chaque étape :
- utiliser une API ou une commande pour lire ou mettre à jour des données structurées ;
- employer l’interface graphique pour un logiciel ancien ou fermé ;
- contrôler le résultat à l’aide d’un système de référence déterministe lorsque c’est possible.
Les travaux sur OSWorld-MCP vont dans le même sens : l’invocation d’outils peut améliorer la réussite des tâches d’usage informatique dans certains contextes. Dans les expériences rapportées, l’ajout d’outils MCP a fait passer OpenAI o3 de 8,3 % à 17,6 % en 15 étapes, et Claude 4 Sonnet de 38,9 % à 45,0 % en 50 étapes. 24
La réserve reste majeure : l’automatisation graphique demeure vulnérable aux changements d’interface, à la latence, aux fenêtres surgissantes, aux cibles ambiguës, aux contrôles d’accès, à l’authentification multifacteur et aux actions irréversibles. L’exécution hybride réduit certains risques, sans les faire disparaître.
Ce que 90,2 % implique pour un déploiement réel
Un taux de réussite de 90,2 % signifie que 9,8 % des tâches du benchmark n’ont pas été menées à bien. Sur 10 000 tâches hypothétiques comparables, cela représenterait environ 980 exceptions, avant même de compter les erreurs silencieuses : des cas paraissant réussis mais produisant un mauvais résultat métier.
Ce score n’en est pas moins significatif. Il suggère que les agents d’usage informatique pourraient devenir utiles pour des processus circonscrits, répétitifs et fortement encadrés. Il ne justifie pas, en revanche, une automatisation sans surveillance des paiements, dépôts juridiques, opérations critiques pour la sécurité ou changements ayant un effet direct sur les clients.
En production, les équipes doivent regarder au-delà d’un taux de réussite global :
- l’achèvement et la justesse sur leurs propres processus ;
- les modes de défaillance et la possibilité de récupération ;
- le coût, la latence et le nombre d’actions ;
- les limites d’autorisation et les points de validation ;
- les preuves que chaque action a bien modifié l’état prévu dans le système concerné ;
- le volume de la file d’exceptions et la manière de la traiter.
Le benchmark plus récent et plus difficile OSWorld 2.0 invite lui aussi à la prudence. Il contient 108 flux de travail de longue durée ; sous sa métrique principale de finalisation binaire en 500 étapes, le meilleur résultat rapporté atteint 20,6 %. Cela indique que les agents restent loin d’un usage informatique largement équivalent à celui d’un professionnel lorsque les tâches deviennent longues et plus réalistes. 17
Le jalon, c’est l’ingénierie de l’exécution
Le résultat revendiqué de 90,2 % par InAgent se lit surtout comme un jalon pour l’ingénierie des systèmes agentiques. Les prompts et le contexte restent importants, mais une automatisation fiable dépend de plus en plus des mécanismes qui entourent le modèle : décomposition, sélection des outils, état persistant, validation vérifiable, autorité limitée et chemins de reprise.
Pour les entreprises, la bonne question n’est donc pas seulement de savoir quel modèle domine un benchmark. Il s’agit de déterminer si un agent peut exécuter un processus précis avec une exactitude mesurable, des effets de bord maîtrisés et un transfert sûr vers un humain lorsqu’il ne peut pas continuer. Un score OSWorld élevé peut éclairer cette décision ; il ne peut pas, à lui seul, en apporter la preuve.
Studio Global AI
Continuez vos recherches
Cette page comprend une réponse basée sur la source que vous pouvez continuer dans Studio Global.
Les gens demandent aussi
Quelle est la réponse courte à « InAgent franchit 90 % sur OSWorld : le vrai enjeu est l’ingénierie du harnais » ?
Intelligence Indeed affirme que son agent InAgent, également nommé Z Agent dans son annonce, a atteint 90,2 % sur la configuration OSWorld de 361 tâches, premier résultat rapporté au delà de 90 %.
Quels sont les points clés à valider en premier ?
Intelligence Indeed affirme que son agent InAgent, également nommé Z Agent dans son annonce, a atteint 90,2 % sur la configuration OSWorld de 361 tâches, premier résultat rapporté au delà de 90 %. OSWorld mesure l’exécution de tâches dans de véritables environnements de bureau, avec des contrôles fondés sur l’état final de la machine, et non de simples réponses textuelles.
Que dois-je faire ensuite en pratique ?
Un taux de réussite de 90,2 % laisserait encore 9,8 % de tâches non finalisées : les processus sensibles exigent donc vérifications déterministes, permissions limitées, gestion des exceptions et validation humaine.
Sources
globenewswire.comIntelligence Indeed's Z-Agent Becomes OSWorld's First 90%+
benchlm.aiOSWorld-Verified Leaderboard & Scores — August 2026
arxiv.orgOSWorld-Human: Benchmarking the Efficiency of Computer-Use ...
osworld-v1.xlang.aiOSWorld: Benchmarking Multimodal Agents for Open-Ended ...