RéponsesPublié15 sources
DeepSeek-V4-Flash devance Claude Opus 4.8 sur cinq tests d’agents : le vrai gagnant serait le « harness »
Floatboat affirme que DeepSeek V4 Flash a dépassé Claude Opus 4.8 sur cinq benchmarks d’agents après le remplacement de son environnement d’exécution, le modèle et les entrées restant identiques. Avec un ratio de trois jetons d’entrée pour un jeton de sortie, le coût API mélangé annoncé est de 0,175 dollar par milli...
Publié parModifié avec GPT-5.6 LunaImages générées avec GPT Image 1.5
Réponse de recherche
Points clés à retenir
- Floatboat affirme que DeepSeek V4 Flash a dépassé Claude Opus 4.8 sur cinq benchmarks d’agents après le remplacement de son environnement d’exécution, le modèle et les entrées restant identiques.
- Avec un ratio de trois jetons d’entrée pour un jeton de sortie, le coût API mélangé annoncé est de 0,175 dollar par million de jetons pour DeepSeek contre 10 dollars pour Opus, soit environ 57,1 fois plus.
- Les gains annoncés passent de 1,9 % sur les tâches les plus courtes à 23,6 % sur les plus longues, ce qui suggère que la mémoire d’état, les outils, la vérification et la récupération deviennent déterminants avec la d...
Prompt IA
openai.comCreate a landscape editorial hero image for this Studio Global article: How did AOE Tech Labs’ Floatboat team’s August 7, 2026 single-variable Harness benchmark experiment show that DeepSeek-V4-Flash—the $0.14 mo. Article summary: Floatboat’s August 7 result is best understood as a vendor-reported ablation: it held the DeepSeek-V4-Flash model constant and replaced the execution harness. Its claim is not that model capability ceased to matter, but . Topic tags: general, general web, user generated, documentation. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks,
Le résultat publié le 7 août par Floatboat ne doit pas être interprété comme la preuve que DeepSeek-V4-Flash serait intrinsèquement plus performant que Claude Opus 4.8. Il s’agit plutôt d’une ablation rapportée par l’entreprise : le modèle reste inchangé, tandis que son environnement d’exécution — le « harness » — est remplacé. Selon Floatboat, cette modification a suffi pour placer le modèle peu coûteux devant les comparaisons publiées avec Opus 4.8 sur cinq benchmarks publics d’agents. 3
La conclusion la plus intéressante est aussi la plus prudente : pour les tâches longues et autonomes, le système qui entoure un modèle peut peser autant que le modèle lui-même. Cette hypothèse est crédible, mais elle n’est pas encore établie, puisque l’expérience n’a pas fait l’objet d’une réplication indépendante.
Ce que Floatboat a changé
Floatboat indique avoir utilisé la version officielle DeepSeek-V4-Flash-0731, avec les mêmes entrées et paramètres, puis comparé le « harness » minimal officiel de DeepSeek à son propre environnement d’évaluation. Celui-ci s’appuie sur un bac à sable physique isolé et fournit une boucle d’exécution plus persistante : espace de travail, accès aux fichiers, outils, état conservé, inspection des résultats, correction des erreurs et possibilité de poursuivre le travail. 3
Cette différence est cruciale. Un agent ne réussit pas une tâche uniquement en produisant une bonne réponse à un instant donné. Il doit agir sur un environnement, observer les conséquences, réviser son plan, puis éviter de compromettre ce qu’il a déjà accompli.
Les cinq résultats annoncés
Dans le « harness » de Floatboat, DeepSeek-V4-Flash aurait obtenu les scores suivants :
- BrowseComp : 87,80
- DeepSWE : 67,25
- Terminal Bench 2.1 : 84,26
- AutomationBench : 27,50
- Toolathlon : 79,62
Floatboat affirme que ces résultats dépassent les comparaisons publiées avec Claude Opus 4.8 sur les cinq benchmarks. 3
Le titre mérite toutefois d’être nuancé. Les comparaisons publiques peuvent combiner des scores obtenus avec des « harness », des prompts, des configurations d’outils, des paramètres d’échantillonnage et des procédures d’évaluation différents. La partie la mieux contrôlée de l’expérience — le même modèle évalué avec un autre environnement — est plus instructive qu’un simple classement réunissant des systèmes hétérogènes. Elle reste néanmoins fondée sur des résultats communiqués par l’entreprise elle-même.
Un écart de prix spectaculaire, mais limité aux jetons API
Floatboat retient pour DeepSeek un tarif de 0,14 dollar par million de jetons en entrée et de 0,28 dollar par million de jetons en sortie. Avec un ratio de trois jetons d’entrée pour un jeton de sortie, le prix moyen pondéré est donc :
(3 × 0,14 + 0,28) ÷ 4 = 0,175 dollar par million de jetons
L’entreprise utilise pour Claude Opus 4.8 des tarifs annoncés de 5 dollars par million de jetons en entrée et 25 dollars par million de jetons en sortie. Avec le même ratio :
(3 × 5 + 25) ÷ 4 = 10 dollars par million de jetons
À ce niveau, Opus revient donc environ 57,1 fois plus cher que DeepSeek en prix API mélangé. 3
Cela ne signifie pas qu’une tâche terminée coûterait systématiquement 57,1 fois plus cher. Le calcul exclut notamment les frais liés aux outils, au calcul, à la mise en cache, aux contextes longs, aux nouvelles tentatives, à l’ingénierie et au fonctionnement du « harness ». Il s’agit d’une comparaison du prix des jetons du modèle, pas d’une analyse du coût total de possession.
Pourquoi l’écart augmente avec la longueur des tâches
Floatboat rapporte des gains relatifs de 1,9 %, 9,6 %, 12,6 %, 19,9 % et 23,6 % lorsque les cinq benchmarks sont classés des tâches les plus courtes aux travaux nécessitant le plus d’étapes. La séquence serait non décroissante : le « harness » compterait moins pour les tâches bornées et davantage à mesure que les actions deviennent interdépendantes. 3
Un agent peut échouer sur une tâche longue alors que chacune de ses décisions locales semble raisonnable. Il doit souvent :
- trouver et modifier les bons fichiers ;
- appeler des outils à plusieurs reprises et interpréter leurs résultats ;
- conserver son plan, son état et ses fichiers intermédiaires ;
- tester ses modifications et diagnostiquer les échecs ;
- se remettre d’une action incorrecte ;
- annuler une modification avant qu’elle ne compromette la suite du travail.
Une boucle d’exécution fragile peut transformer un raisonnement juste en perte de contexte, appels d’outils invalides, arrêt prématuré ou modification impossible à récupérer. Un modèle plus puissant peut améliorer les décisions ponctuelles, mais il ne peut pas compenser un environnement qui ne conserve pas l’état, ne fournit pas de retour utile ou n’autorise pas une récupération sûre.
Le résultat déplace ainsi la question. Il ne s’agit plus seulement de demander : « Quel modèle est le plus intelligent ? », mais plutôt : « Quelle combinaison de modèle et de runtime peut terminer la tâche de façon fiable ? »
Le Harness Leverage Ratio, un indicateur maison
Floatboat a créé le Harness Leverage Ratio, ou HLR, pour comparer le bénéfice d’un changement d’environnement à celui d’une montée en gamme du modèle :
HLR = gain obtenu en changeant uniquement le harness
─────────────────────────────────────────────
gain obtenu en adoptant le système de référence plus puissant
Un HLR supérieur à 1 signifie que, dans le benchmark et la comparaison retenus, le changement de « harness » produit une hausse de score plus importante que l’amélioration mesurée lors du passage au système de référence plus puissant. Ce ratio n’est pas un standard du secteur. Sa valeur dépend du modèle de départ, du modèle de référence, de la version du benchmark et des contrôles appliqués à l’évaluation. 2
4
Sur DeepSWE, Floatboat affirme que le score de Flash est passé de 54,4 avec le « harness » de DeepSeek à 67,25 avec celui de Floatboat, soit un gain de 12,85 points. Le résultat cité pour Opus 4.8 est de 58,0, soit un écart de 3,6 points par rapport à la base DeepSeek. Le HLR atteint ainsi environ 3,57. 3
Floatboat indique également que le HLR passe de 0,78 pour la tâche la plus courte à 3,57 pour la plus longue. Si cette évolution était confirmée, elle appuierait l’idée que les améliorations du runtime deviennent disproportionnellement utiles lorsque les tâches exigent davantage d’état, d’appels d’outils et de récupération. Elle ne constitue pas pour autant une loi générale : un autre modèle de référence ou une autre configuration d’évaluation pourrait modifier fortement le ratio.
Une validation de la thèse produit de Floatboat
Le benchmark correspond au positionnement plus large de Floatboat. Les descriptions publiques présentent l’entreprise comme un environnement de travail conçu autour des agents, destiné notamment aux opérateurs seuls, avec des fonctions réunissant fichiers, navigation web, interactions avec l’IA, calendrier, communications et compétences ou workflows réutilisables. 1 Une annonce de lancement publiée en mai 2026 décrit par ailleurs une orientation vers des workflows proactifs déclenchés par le calendrier et mentionne Sequoia et Welight Capital parmi les investisseurs.
18
Cette approche considère le runtime comme une couche centrale, et non comme une simple interface posée au-dessus d’un modèle de langage. L’agent doit maintenir le contexte entre plusieurs applications, agir au bon moment, respecter les permissions et progresser sans obliger l’utilisateur à reconstruire manuellement chaque étape.
Vers des agents quotidiens moins dépendants des modèles les plus chers ?
Si le résultat résiste à des tests indépendants, l’avantage concurrentiel des agents utilisés au quotidien pourrait se déplacer vers leur infrastructure d’exécution : gestion sûre de l’état, visibilité sur les actions, vérification, récupération après erreur, contrôle des permissions et supervision par l’utilisateur.
Cette évolution ouvrirait une stratégie plus flexible. Des modèles moins chers pourraient prendre en charge les tâches routinières dans un environnement bien conçu, tandis que les modèles premium seraient réservés aux situations nécessitant réellement davantage de raisonnement ou de jugement. Le meilleur produit ne serait donc ni le modèle le moins cher ni le modèle le plus puissant pris isolément, mais le système capable d’employer chaque modèle là où il est le plus efficace.
La réserve reste essentielle. Le document technique de Floatboat constitue la principale preuve disponible pour l’expérience du 7 août, et l’entreprise reconnaît que les comparaisons générales entre modèles reposent sur des « harness » et des configurations d’évaluation différents. Des réplications indépendantes, la publication des artefacts d’évaluation et des contrôles plus stricts sur les prompts, les budgets, les outils, les tentatives répétées et les versions de données seront nécessaires avant de considérer ces « cinq victoires » comme un résultat établi dans le secteur. 3
Studio Global AI
Continuez vos recherches
Cette page comprend une réponse basée sur la source que vous pouvez continuer dans Studio Global.
Les gens demandent aussi
Quelle est la réponse courte à « DeepSeek-V4-Flash devance Claude Opus 4.8 sur cinq tests d’agents : le vrai gagnant serait le « harness » » ?
Floatboat affirme que DeepSeek V4 Flash a dépassé Claude Opus 4.8 sur cinq benchmarks d’agents après le remplacement de son environnement d’exécution, le modèle et les entrées restant identiques.
Quels sont les points clés à valider en premier ?
Floatboat affirme que DeepSeek V4 Flash a dépassé Claude Opus 4.8 sur cinq benchmarks d’agents après le remplacement de son environnement d’exécution, le modèle et les entrées restant identiques. Avec un ratio de trois jetons d’entrée pour un jeton de sortie, le coût API mélangé annoncé est de 0,175 dollar par million de jetons pour DeepSeek contre 10 dollars pour Opus, soit environ 57,1 fois plus.
Que dois-je faire ensuite en pratique ?
Les gains annoncés passent de 1,9 % sur les tâches les plus courtes à 23,6 % sur les plus longues, ce qui suggère que la mémoire d’état, les outils, la vérification et la récupération deviennent déterminants avec la d...