AnswersPublished15 sources
DeepSeek slog Claude på fem agent-tests – men det var især systemet omkring modellen, der gjorde forskellen
Floatboat rapporterer, at den samme DeepSeek V4 Flash model overgik Claude Opus 4.8 på fem agent benchmarks, efter at kun execution harnesset blev ændret. Ved et forhold på 3:1 mellem input og outputtokens var den oplyste blandede API pris 0,175 dollar pr.
Udgivet afRedigeret med GPT-5.6 LunaBilleder genereret med GPT Image 1.5
Research answer
Key takeaways
- Floatboat rapporterer, at den samme DeepSeek V4 Flash model overgik Claude Opus 4.8 på fem agent benchmarks, efter at kun execution harnesset blev ændret.
- Ved et forhold på 3:1 mellem input og outputtokens var den oplyste blandede API pris 0,175 dollar pr.
- De rapporterede gevinster steg fra 1,9 procent på de korteste opgaver til 23,6 procent på de længste, hvilket peger på betydningen af vedvarende tilstand, værktøjer, kontrol og fejlhåndtering.
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: How did AOE Tech Labs’ Floatboat team’s August 7, 2026 single-variable Harness benchmark experiment show that DeepSeek-V4-Flash—the $0.14 mo. Article summary: Floatboat’s August 7 result is best understood as a vendor-reported ablation: it held the DeepSeek-V4-Flash model constant and replaced the execution harness. Its claim is not that model capability ceased to matter, but . Topic tags: general, general web, user generated, documentation. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks,
Floatboats resultat fra 7. august bør ikke læses som et endeligt bevis på, at DeepSeek-V4-Flash i sig selv er mere kapabel end Claude Opus 4.8. Det er snarere et virksomhedsrapporteret ablationsforsøg: Modellen blev holdt konstant, mens systemet, der kører den, blev udskiftet. Floatboat oplyser, at ændringen var nok til at bringe den billige model foran de offentliggjorte Opus 4.8-sammenligninger på fem åbne agent-benchmarks. 3
Den vigtigste – og mere begrænsede – konklusion er, at systemet omkring en model kan have lige så stor betydning som modellen selv, når AI-agenter skal løse langvarige opgaver. Det er dog stadig en indikation, ikke en fastslået kendsgerning, fordi forsøget endnu ikke er blevet uafhængigt gentaget.
Hvad ændrede Floatboat?
Floatboat siger, at virksomheden brugte den officielle DeepSeek-V4-Flash-0731-version med de samme input og parametre. Forskellen var, at DeepSeeks minimalistiske officielle harness blev erstattet af Floatboats eget evaluerings-harness.
Det nye setup omfattede ifølge virksomheden et isoleret fysisk sandkassemiljø med mere vedvarende adgang til arbejdsområde og filer, værktøjer, gemt tilstand og en løkke, hvor agenten kunne undersøge resultater, rette fejl og fortsætte arbejdet. 3
Det er afgørende, fordi en agent ikke løser en opgave ved blot at generere ét godt svar. Den skal gentagne gange handle i et miljø, se hvad der skete, opdatere sin plan og undgå at ødelægge det arbejde, der allerede er udført.
De fem rapporterede benchmark-resultater
I Floatboats harness opnåede DeepSeek-V4-Flash ifølge virksomheden:
- BrowseComp: 87,80
- DeepSWE: 67,25
- Terminal Bench 2.1: 84,26
- AutomationBench: 27,50
- Toolathlon: 79,62
Floatboat oplyser, at resultaterne lå over de offentliggjorte sammenligninger med Claude Opus 4.8 på alle fem benchmarks. 3
Overskriften kræver dog en vigtig præcisering. Offentlige benchmark-sammenligninger kan være baseret på forskellige harnesses, prompts, værktøjskonfigurationer, sampling-indstillinger og evalueringsmetoder. Den mest informative del af Floatboats forsøg er derfor ikke nødvendigvis placeringen på én samlet rangliste, men at den samme model blev testet med to forskellige execution-harnesses.
Det ændrer ikke ved, at resultatet fortsat er rapporteret af virksomheden selv.
Den store prisforskel gælder kun modeltokens
Den oplyste DeepSeek-pris var 0,14 dollar pr. million inputtokens og 0,28 dollar pr. million outputtokens. Ved et forhold på 3:1 mellem input og output bliver den blandede pris:
(3 × 0,14 + 0,28) ÷ 4 = 0,175 dollar pr. million tokens
Floatboat brugte en oplyst pris for Claude Opus 4.8 på 5 dollar pr. million inputtokens og 25 dollar pr. million outputtokens. Ved samme forhold bliver beregningen:
(3 × 5 + 25) ÷ 4 = 10 dollar pr. million tokens
Opus bliver dermed cirka 57,1 gange dyrere målt på den blandede API-tokenpris. 3
Det er ikke det samme som, at en gennemført opgave nødvendigvis koster 57,1 gange så meget. Beregningen medregner ikke betaling for værktøjer, computerkraft, caching, lange kontekster, gentagne forsøg, udvikling eller driften af selve harnesset. Der er tale om en sammenligning af modeltokens – ikke en fuld analyse af de samlede ejeromkostninger.
Derfor blev forskellen større på lange opgaver
Floatboat rapporterede relative gevinster på 1,9 procent, 9,6 procent, 12,6 procent, 19,9 procent og 23,6 procent, når de fem benchmarks blev ordnet fra kortere til længere opgaver. Ifølge virksomheden var udviklingen ikke faldende: Harnesset havde mindre betydning på afgrænsede opgaver og større betydning, jo flere afhængige trin arbejdet krævede. 3
En agent kan fejle på en lang opgave, selv om de enkelte beslutninger isoleret set virker fornuftige. Den skal blandt andet kunne:
- finde og redigere de rigtige filer;
- kalde værktøjer gentagne gange og fortolke deres output;
- bevare planer, tilstand og midlertidige resultater;
- teste ændringer og finde årsagen til fejl;
- komme sig efter en forkert handling; og
- rulle en ændring tilbage, før den ødelægger resten af arbejdet.
En svag execution-løkke kan derfor forvandle korrekt ræsonnement til tabt kontekst, ugyldige værktøjskald, for tidlig afslutning eller ændringer, der ikke kan gøres om. En stærkere model kan forbedre de lokale beslutninger, men den kan ikke fuldt ud kompensere for et miljø, der ikke gemmer tilstand, giver brugbar feedback eller understøtter sikker fejlhåndtering.
Det er også grunden til, at resultatet rækker ud over sammenligningen mellem to modeller. Spørgsmålet bliver ikke kun: ”Hvilken model er smartest?” Det bliver i højere grad: ”Hvilken kombination af model og runtime kan faktisk færdiggøre opgaven pålideligt?”
Hvad måler Harness Leverage Ratio?
Floatboat introducerede måleenheden Harness Leverage Ratio, forkortet HLR, for at sammenligne effekten af at ændre harnesset med effekten af at opgradere modellen:
HLR = gevinst ved kun at ændre harnesset
─────────────────────────────────
gevinst ved at opgradere til referencesystemet
En HLR over 1 betyder, at harness-ændringen i den valgte sammenligning gav en større scoreforbedring end den målte opgradering til det stærkere referencesystem. Måleenheden er ikke en branchestandard, og resultatet afhænger af den valgte baseline, referencemodel, benchmark-version og evalueringskontroller. 2
4
På DeepSWE rapporterede Floatboat, at Flash steg fra 54,4 i DeepSeeks harness til 67,25 i Floatboats harness – en forbedring på 12,85 point. Det citerede resultat for Opus 4.8 var 58,0, altså et forspring på 3,6 point i forhold til DeepSeek-baselinen. Det giver en HLR på cirka 3,57. 3
Floatboat rapporterede desuden, at HLR steg fra 0,78 på den korteste opgave til 3,57 på den længste. Hvis mønstret kan gentages, understøtter det ideen om, at forbedringer i runtime-miljøet bliver uforholdsmæssigt mere værdifulde, når opgaver kræver mere tilstand, flere værktøjskald og bedre mulighed for at komme sig efter fejl.
Det bør dog ikke opfattes som en universel lov. En anden referencemodel eller en anden evalueringsopsætning kan ændre forholdstallet.
Resultatet passer til Floatboats produktidé
Benchmark-resultatet stemmer overens med Floatboats bredere produktpositionering. Offentlige beskrivelser fremstiller virksomheden som et agent-orienteret arbejdsmiljø for selvstændige og små teams, hvor filer, browsing, AI-interaktioner, planlægning, kommunikation og genbrugelige færdigheder eller workflows samles i ét miljø. 1
I en lancering i maj 2026 beskrev virksomheden sit fokus på proaktive, kalenderstyrede agent-workflows og oplyste, at Sequoia og Welight Capital er blandt selskabets investorer. 18
Den tilgang betragter runtime-miljøet som et centralt lag – ikke blot som en tynd skal omkring en sprogmodel. Agenten skal kunne bevare kontekst på tværs af programmer, handle på det rigtige tidspunkt, respektere tilladelser og skabe fremdrift uden at tvinge brugeren til manuelt at rekonstruere hvert trin.
Hvad kan det betyde for fremtidens hverdagsagenter?
Hvis benchmark-resultatet holder under uafhængige tests, kan konkurrencen mellem hverdagsagenter i højere grad komme til at handle om execution-laget: sikker håndtering af tilstand, synlighed i agentens arbejde, kontrol, verifikation, fejlhåndtering, tilladelser og brugerindflydelse.
Det kan også føre til en mere fleksibel modelstrategi. Billigere modeller kan løse rutineprægede og velstrukturerede opgaver i et pålideligt runtime-miljø, mens dyrere modeller reserveres til arbejde, der reelt kræver dybere ræsonnement eller menneskelig dømmekraft.
Den bedste agent vil derfor måske hverken være den billigste model eller den stærkeste model isoleret set. Det kan i stedet blive det system, der bruger hver model dér, hvor den er mest effektiv.
Forbeholdet er fortsat centralt. Floatboats tekniske brief er den stærkeste dokumentation for forsøget fra 7. august, og virksomheden erkender selv, at bredere sammenligninger på tværs af modeller bruger forskellige harnesses og evalueringskonfigurationer. Uafhængige gentagelser, offentliggjorte evalueringsartefakter og strammere kontrol med prompts, budgetter, værktøjer, gentagne forsøg og dataversioner er nødvendige, før ”fem sejre” kan betragtes som et etableret brancheresultat. 3
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "DeepSeek slog Claude på fem agent-tests – men det var især systemet omkring modellen, der gjorde forskellen"?
Floatboat rapporterer, at den samme DeepSeek V4 Flash model overgik Claude Opus 4.8 på fem agent benchmarks, efter at kun execution harnesset blev ændret.
What are the key points to validate first?
Floatboat rapporterer, at den samme DeepSeek V4 Flash model overgik Claude Opus 4.8 på fem agent benchmarks, efter at kun execution harnesset blev ændret. Ved et forhold på 3:1 mellem input og outputtokens var den oplyste blandede API pris 0,175 dollar pr.
What should I do next in practice?
De rapporterede gevinster steg fra 1,9 procent på de korteste opgaver til 23,6 procent på de længste, hvilket peger på betydningen af vedvarende tilstand, værktøjer, kontrol og fejlhåndtering.