AnswersPublished15 sources
DeepSeek-V4-Flash verslaat Claude Opus 4.8 op vijf agentbenchmarks — dankzij de harness
Floatboat rapporteert dat hetzelfde DeepSeek V4 Flash model op alle vijf geteste agentbenchmarks boven de gepubliceerde vergelijkingsscores van Claude Opus 4.8 uitkwam nadat alleen de execution harness was vervangen. Bij een verhouding van 3:1 tussen input en outputtokens kwam de gemengde API prijs uit op $0,175 per...
Gepubliceerd doorBewerkt met GPT-5.6 LunaAfbeeldingen gegenereerd met GPT Image 1.5
Research answer
Key takeaways
- Floatboat rapporteert dat hetzelfde DeepSeek V4 Flash model op alle vijf geteste agentbenchmarks boven de gepubliceerde vergelijkingsscores van Claude Opus 4.8 uitkwam nadat alleen de execution harness was vervangen.
- Bij een verhouding van 3:1 tussen input en outputtokens kwam de gemengde API prijs uit op $0,175 per miljoen tokens voor DeepSeek tegenover $10 voor Opus: ongeveer 57,1 keer duurder.
- De gemelde winst liep op van 1,9% bij de kortste taken naar 23,6% bij de langste, wat erop wijst dat geheugen, tools, controle en herstel belangrijker worden naarmate een agent meer stappen moet uitvoeren.
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: How did AOE Tech Labs’ Floatboat team’s August 7, 2026 single-variable Harness benchmark experiment show that DeepSeek-V4-Flash—the $0.14 mo. Article summary: Floatboat’s August 7 result is best understood as a vendor-reported ablation: it held the DeepSeek-V4-Flash model constant and replaced the execution harness. Its claim is not that model capability ceased to matter, but . Topic tags: general, general web, user generated, documentation. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks,
De opvallende uitkomst van Floatboats benchmark van 7 augustus moet niet worden gelezen als bewijs dat DeepSeek-V4-Flash van zichzelf capabeler is dan Claude Opus 4.8. Het gaat eerder om een door de leverancier gemelde ablatietest: het model bleef hetzelfde, maar de execution harness — de software- en werkomgeving waarin een AI-agent taken uitvoert — werd vervangen. Volgens Floatboat was dat genoeg om hetzelfde goedkope model boven de gepubliceerde vergelijkingsscores van Opus 4.8 te laten uitkomen op vijf openbare agentbenchmarks. 3
De nuttigere, maar beperktere conclusie is dat de infrastructuur rond een model bij langdurige agenttaken minstens zo belangrijk kan zijn als het model zelf. Dat is een interessante aanwijzing, geen vaststaand industriefeit: de proef is nog niet onafhankelijk herhaald.
Wat veranderde er precies?
Floatboat zegt dat het de officiële release DeepSeek-V4-Flash-0731 gebruikte, met dezelfde invoer en parameters. Vervolgens vergeleek het de minimalistische officiële harness van DeepSeek met de eigen evaluatieharness. Die bood onder meer een geïsoleerde fysieke sandbox, toegang tot bestanden en werkruimte, tools, bewaarde toestand en een doorlopende uitvoeringslus waarin de agent resultaten kon controleren, fouten kon herstellen en verder kon werken. 3
Dat verschil is belangrijk. Een agent hoeft niet slechts één goed antwoord te genereren. Hij moet herhaaldelijk handelen in een omgeving, waarnemen wat er is gebeurd, zijn plan bijstellen en voorkomen dat eerder verricht werk verloren gaat of beschadigd raakt.
De vijf gerapporteerde resultaten
In Floatboats harness behaalde DeepSeek-V4-Flash volgens het bedrijf de volgende scores:
- BrowseComp: 87,80
- DeepSWE: 67,25
- Terminal Bench 2.1: 84,26
- AutomationBench: 27,50
- Toolathlon: 79,62
Floatboat zegt dat deze resultaten op alle vijf benchmarks hoger waren dan de gepubliceerde vergelijkingsscores voor Claude Opus 4.8. 3
Daarbij is enige voorzichtigheid nodig. Openbare benchmarkvergelijkingen kunnen scores combineren die met verschillende harnesses, prompts, toolconfiguraties, samplinginstellingen en evaluatieprocedures zijn gemaakt. Het gecontroleerde deel van Floatboats proef — hetzelfde model, maar een andere harness — is informatiever dan systemen met uiteenlopende instellingen simpelweg naast elkaar zetten op één ranglijst. Het blijft echter een resultaat dat door het bedrijf zelf is gerapporteerd.
Het prijsverschil is groot, maar dit zijn geen totale kosten
De gemelde DeepSeek-prijs bedroeg $0,14 per miljoen inputtokens en $0,28 per miljoen outputtokens. Bij een verhouding van 3:1 tussen input en output ontstaat de volgende gemiddelde tokenprijs:
(3 × $0,14 + $0,28) ÷ 4 = $0,175 per miljoen tokens
Floatboat gebruikte voor Claude Opus 4.8 de genoemde prijzen van $5 per miljoen inputtokens en $25 per miljoen outputtokens. Bij dezelfde verhouding is dat:
(3 × $5 + $25) ÷ 4 = $10 per miljoen tokens
Op basis van alleen die API-tokenprijzen is Opus daarmee ongeveer 57,1 keer duurder dan DeepSeek. 3
Dat betekent niet dat een afgeronde taak automatisch 57,1 keer zoveel kost. De berekening houdt geen rekening met toolkosten, rekenkracht, caching, contextlengte, herhaalde pogingen, engineering of de kosten van het draaien van de harness zelf. Het is dus een vergelijking van modeltokenprijzen, geen analyse van de totale eigendomskosten.
Waarom wordt de harness belangrijker bij lange taken?
Floatboat rapporteerde relatieve verbeteringen van 1,9%, 9,6%, 12,6%, 19,9% en 23,6% wanneer de vijf benchmarks van kortere naar langere taken werden gerangschikt. Volgens het bedrijf nam het effect van de harness daarmee toe naarmate het aantal van elkaar afhankelijke stappen groeide. 3
Een agent kan op elk afzonderlijk moment een redelijke beslissing nemen en toch de volledige taak laten mislukken. Bij langdurig werk moet hij bijvoorbeeld:
- de juiste bestanden vinden en bewerken;
- herhaaldelijk tools aanroepen en de resultaten interpreteren;
- plannen, tussenresultaten en werkgeheugen bewaren;
- wijzigingen testen en fouten analyseren;
- herstellen na een verkeerde actie; en
- een bewerking terugdraaien voordat die later werk beschadigt.
Een zwakke uitvoeringslus kan goede redeneringen alsnog laten ontsporen in verloren context, ongeldige toolaanroepen, voortijdig stoppen of wijzigingen waarvan geen herstel meer mogelijk is. Een sterker model kan lokale beslissingen verbeteren, maar het kan niet volledig compenseren voor een omgeving die geen toestand bewaart, weinig bruikbare feedback geeft of geen veilige herstelopties biedt.
De belangrijkste verschuiving in perspectief is daarom niet alleen: welk model is het slimst? De relevantere vraag wordt: welke combinatie van model en runtime maakt een taak betrouwbaar af?
Wat meet de Harness Leverage Ratio?
Floatboat introduceerde de Harness Leverage Ratio, afgekort HLR, om de winst van een betere uitvoeringsomgeving af te zetten tegen de winst van een modelupgrade:
HLR = winst door alleen de harness te veranderen
───────────────────────────────────────────
winst door te upgraden naar het sterkere referentiesysteem
Een HLR boven 1 betekent dat de wijziging van de harness in de gekozen vergelijking een grotere scorestijging opleverde dan de gemeten upgrade naar het sterkere referentiesysteem. HLR is geen industriestandaard. De uitkomst hangt af van de gekozen nulmeting, het referentiemodel, de benchmarkversie en de controle van de evaluatie. 2
4
Op DeepSWE rapporteerde Floatboat dat Flash steeg van 54,4 in de harness van DeepSeek naar 67,25 in de eigen harness: een winst van 12,85 punten. Het aangehaalde resultaat voor Opus 4.8 was 58,0, oftewel 3,6 punten boven de DeepSeek-baseline. Daarmee komt de HLR uit op ongeveer 3,57. 3
Floatboat meldde bovendien dat de HLR opliep van 0,78 bij de kortste taak naar 3,57 bij de langste. Als onafhankelijk onderzoek dit patroon bevestigt, zou dat erop wijzen dat verbeteringen in de runtime buitenproportioneel waardevol worden wanneer taken meer toestand, toolaanroepen en herstel vereisen. Het is geen universele wet: een andere referentiesysteem of evaluatieopzet kan een andere verhouding opleveren.
Dit past bij Floatboats productvisie
De benchmark sluit aan bij Floatboats bredere positionering. Openbare beschrijvingen presenteren het bedrijf als een agentgerichte werkomgeving voor solowerkers, met bestanden, browsen, AI-interacties, planning, communicatie en herbruikbare skills of workflows. 1 In een lancering van mei 2026 beschreef Floatboat de focus op proactieve agentworkflows die vanuit een agenda worden aangestuurd. Het bedrijf noemde daarbij Sequoia en Welight Capital als investeerders.
18
In die visie is de runtime geen dun laagje boven op een taalmodel, maar een centrale productlaag. De agent moet context tussen applicaties kunnen vasthouden, op het juiste moment handelen, rechten respecteren en voortgang boeken zonder dat de gebruiker elke stap handmatig opnieuw hoeft op te bouwen.
Wat betekent dit voor dagelijkse AI-agenten?
Als de benchmarkuitkomst overeind blijft na onafhankelijke tests, kan het concurrentievoordeel bij alledaagse agenten verschuiven naar de uitvoeringslaag: veilig statusbeheer, zichtbaarheid in wat de agent doet, verificatie, herstel, rechtenbeheer en controle door de gebruiker.
Dat zou ook tot een flexibelere modelstrategie leiden. Goedkopere modellen kunnen routinewerk uitvoeren binnen een betrouwbare runtime, terwijl premium modellen worden ingezet voor taken die echt diepere redenering of beoordeling vereisen. Het beste product is dan niet per se het goedkoopste of krachtigste model op zichzelf, maar het systeem dat elk model inzet waar het het meest effectief is.
De belangrijkste kanttekening blijft staan. De technische notitie van Floatboat is de sterkste aangeleverde bron voor het experiment, en het bedrijf erkent dat bredere vergelijkingen tussen modellen verschillende harnesses en evaluatieconfiguraties gebruiken. Onafhankelijke herhalingen, vrijgegeven evaluatiegegevens en striktere controle van prompts, budgetten, tools, retries en dataversies zijn nodig voordat de claim van vijf overwinningen als een gevestigd industrie-resultaat kan gelden. 3
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "DeepSeek-V4-Flash verslaat Claude Opus 4.8 op vijf agentbenchmarks — dankzij de harness"?
Floatboat rapporteert dat hetzelfde DeepSeek V4 Flash model op alle vijf geteste agentbenchmarks boven de gepubliceerde vergelijkingsscores van Claude Opus 4.8 uitkwam nadat alleen de execution harness was vervangen.
What are the key points to validate first?
Floatboat rapporteert dat hetzelfde DeepSeek V4 Flash model op alle vijf geteste agentbenchmarks boven de gepubliceerde vergelijkingsscores van Claude Opus 4.8 uitkwam nadat alleen de execution harness was vervangen. Bij een verhouding van 3:1 tussen input en outputtokens kwam de gemengde API prijs uit op $0,175 per miljoen tokens voor DeepSeek tegenover $10 voor Opus: ongeveer 57,1 keer duurder.
What should I do next in practice?
De gemelde winst liep op van 1,9% bij de kortste taken naar 23,6% bij de langste, wat erop wijst dat geheugen, tools, controle en herstel belangrijker worden naarmate een agent meer stappen moet uitvoeren.