AnswersPublished15 sources
DeepSeek-V4-Flash slo Claude Opus 4.8 i fem agenttester – men kjøretidsmiljøet gjorde mye av jobben
Floatboat rapporterte at den samme DeepSeek V4 Flash modellen passerte Claude Opus 4.8 i alle fem testene etter at bare kjøringsmiljøet, eller «harnesset», ble byttet ut. Ved et forhold på 3:1 mellom input og output tokens ble den oppgitte blandede API prisen 0,175 dollar per million tokens for DeepSeek, mot 10 doll...
Publisert avRedigert med GPT-5.6 LunaBilder generert med GPT Image 1.5
Research answer
Key takeaways
- Floatboat rapporterte at den samme DeepSeek V4 Flash modellen passerte Claude Opus 4.8 i alle fem testene etter at bare kjøringsmiljøet, eller «harnesset», ble byttet ut.
- Ved et forhold på 3:1 mellom input og output tokens ble den oppgitte blandede API prisen 0,175 dollar per million tokens for DeepSeek, mot 10 dollar for Opus – rundt 57,1 ganger dyrere for Opus.
- De rapporterte fordelene økte fra 1,9 prosent på de korteste oppgavene til 23,6 prosent på de lengste, noe som peker mot større betydning av tilstand, verktøy, verifisering og feilhåndtering i flertrinnsarbeid.
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: How did AOE Tech Labs’ Floatboat team’s August 7, 2026 single-variable Harness benchmark experiment show that DeepSeek-V4-Flash—the $0.14 mo. Article summary: Floatboat’s August 7 result is best understood as a vendor-reported ablation: it held the DeepSeek-V4-Flash model constant and replaced the execution harness. Its claim is not that model capability ceased to matter, but . Topic tags: general, general web, user generated, documentation. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks,
Floatboats resultat fra 7. august bør ikke leses som et endelig bevis på at DeepSeek-V4-Flash i seg selv er mer kapabel enn Claude Opus 4.8. Det er mer presist å beskrive forsøket som en leverandørrapportert ablasjon: Modellen ble holdt konstant, mens kjøringsmiljøet rundt den ble byttet ut. Floatboat sier at denne endringen var nok til å løfte den samme rimelige modellen over de publiserte Opus 4.8-sammenligningene i fem offentlige agentbenchmarker. 3
Den viktigste konklusjonen er derfor smalere, men også mer nyttig: Når AI-agenter skal løse oppgaver over lang tid, kan systemet rundt modellen bidra minst like mye til resultatet som modellen selv. Det er foreløpig en indikasjon – ikke et etablert faktum – siden forsøket ikke er uavhengig gjentatt.
Hva endret Floatboat?
Floatboat oppgir at de brukte den offisielle DeepSeek-V4-Flash-0731-versjonen med samme input og parametere, og sammenlignet DeepSeeks minimalistiske, offisielle «harness» med sitt eget evalueringsmiljø. Det nye miljøet brukte en isolert fysisk sandkasse med mer vedvarende arbeidsflyt, blant annet tilgang til arbeidsområde og filer, verktøy, lagret tilstand og mulighet til å inspisere resultater, rette feil og fortsette arbeidet. 3
Dette er viktig fordi en agent ikke lykkes bare ved å lage et godt svar én gang. Den må handle i et miljø, observere hva som skjedde, oppdatere planen sin og unngå å ødelegge arbeid som allerede er gjort.
De fem rapporterte resultatene
I Floatboats harness fikk DeepSeek-V4-Flash følgende resultater:
- BrowseComp: 87,80
- DeepSWE: 67,25
- Terminal Bench 2.1: 84,26
- AutomationBench: 27,50
- Toolathlon: 79,62
Floatboat sier at dette var bedre enn de publiserte sammenligningstallene for Claude Opus 4.8 i alle fem benchmarkene. 3
Overskriften trenger likevel en viktig presisering. Offentlige benchmark-sammenligninger kan bygge på ulike harness, instruksjoner, verktøyoppsett, sampling-innstillinger og evalueringsmetoder. Den mest kontrollerte delen av Floatboats test – at samme modell ble kjørt med et annet harness – er mer informativ enn å plassere ulike systemer på én og samme resultatliste. Men også dette er fortsatt et resultat rapportert av selskapet selv.
Stor prisforskjell – men bare på token-nivå
Den oppgitte DeepSeek-prisen var 0,14 dollar per million input-tokens og 0,28 dollar per million output-tokens. Med et forhold på 3:1 mellom input og output blir den blandede prisen:
(3 × 0,14 + 0,28) ÷ 4 = 0,175 dollar per million tokens
Floatboat brukte oppgitte Claude Opus 4.8-priser på 5 dollar per million input-tokens og 25 dollar per million output-tokens. Med samme forhold blir regnestykket:
(3 × 5 + 25) ÷ 4 = 10 dollar per million tokens
Opus blir dermed omtrent 57,1 ganger dyrere målt etter blandet API-tokenpris. 3
Det betyr ikke at en ferdig oppgave nødvendigvis koster 57,1 ganger mer. Regnestykket inkluderer ikke verktøykostnader, datakraft, caching, kontekstlengde, nye forsøk, utvikling eller kostnaden ved å drifte selve harnesset. Dette er en sammenligning av modelltoken-priser – ikke en full analyse av totalkostnaden.
Hvorfor økte fordelen på lengre oppgaver?
Floatboat rapporterte relative forbedringer på 1,9, 9,6, 12,6, 19,9 og 23,6 prosent når benchmarkene ble sortert fra kortest til lengst oppgavehorisont. Selskapet presenterer utviklingen som ikke-synkende: Harnesset hadde mindre betydning på avgrensede oppgaver, men større betydning når oppgavene besto av flere avhengige trinn. 3
En agent kan mislykkes i en lang oppgave selv om de enkelte beslutningene ser fornuftige ut. Den må ofte:
- finne og redigere riktige filer;
- bruke verktøy gjentatte ganger og tolke resultatene;
- ta vare på planer, tilstand og mellomliggende arbeidsfiler;
- teste endringer og finne årsaken til feil;
- hente seg inn etter en feilhandling; og
- rulle tilbake en endring før den ødelegger resten av arbeidet.
En svak arbeidsflyt kan gjøre god resonnering om til tapt kontekst, ugyldige verktøykall, for tidlig avslutning eller endringer som ikke kan repareres. En sterkere modell kan gi bedre lokale beslutninger, men den kan ikke fullt ut kompensere for et miljø som ikke lagrer tilstand, gir nyttige tilbakemeldinger eller tilbyr trygg gjenoppretting.
Derfor handler resultatet om mer enn én modellduell. Oppmerksomheten flyttes fra «Hvilken modell er smartest?» til «Hvilken kombinasjon av modell og kjøretidsmiljø klarer faktisk å fullføre oppgaven?»
Hva måler Harness Leverage Ratio?
Floatboat introduserte Harness Leverage Ratio, forkortet HLR, for å sammenligne effekten av å endre harnesset med effekten av å oppgradere modellen:
HLR = gevinst ved å endre bare harnesset
───────────────────────────────────
gevinst ved å oppgradere til referansesystemet
En HLR over 1 betyr at harness-endringen ga større poengøkning enn den målte oppgraderingen til det sterkere referansesystemet. Måltallet er ikke en bransjestandard, og verdien avhenger av hvilken baseline, referansemodell, benchmarkversjon og kontrollert evalueringsmetode som brukes. 2
4
På DeepSWE rapporterte Floatboat at Flash steg fra 54,4 i DeepSeeks harness til 67,25 i Floatboats harness – en økning på 12,85 poeng. Det oppgitte Opus 4.8-resultatet var 58,0, altså et gap på 3,6 poeng fra DeepSeek-baselinen. Det gir en HLR på omtrent 3,57. 3
Floatboat rapporterte også at HLR økte fra 0,78 på den korteste oppgaven til 3,57 på den lengste. Hvis andre tester bekrefter dette mønsteret, vil det støtte ideen om at forbedringer i kjøretidsmiljøet blir uforholdsmessig mer verdifulle når oppgaver krever mer tilstand, flere verktøykall og bedre feilhåndtering. Det bør likevel ikke behandles som en universell lov: Byttes referansesystemet eller evalueringsoppsettet, kan også forholdstallet endres.
Passer resultatet med Floatboats produktstrategi?
Benchmarken passer med Floatboats bredere produktprofil. Offentlige beskrivelser presenterer selskapet som et agenttilpasset arbeidsmiljø for enkeltpersonforetak og små team, med filer, nettlesing, AI-interaksjoner, planlegging, kommunikasjon og gjenbrukbare ferdigheter eller arbeidsflyter. 1 I en lanseringsmelding fra mai 2026 beskrev selskapet en satsing på proaktive, kalenderstyrte agentarbeidsflyter, og oppga Sequoia og Welight Capital som investorer.
18
Denne retningen behandler kjøretidsmiljøet som et eget teknologisk lag – ikke bare som et tynt skall rundt en språkmodell. Agenten må kunne holde på kontekst på tvers av apper, handle på riktig tidspunkt, respektere tillatelser og gjøre fremgang uten at brukeren manuelt må bygge opp hele situasjonen på nytt for hvert trinn.
Hva kan dette bety for hverdagsagenter?
Hvis resultatet består i uavhengige tester, kan konkurransefortrinnet i hverdagsagenter i større grad flyttes til selve utførelseslaget: trygg tilstandshåndtering, innsyn i hva agenten gjør, verifisering, gjenoppretting, tilgangskontroll og brukerstyring.
Det kan også gi en mer fleksibel modellstrategi. Rimeligere modeller kan håndtere rutinearbeid som er godt tilrettelagt i et stabilt kjøretidsmiljø, mens dyrere modeller reserveres for oppgaver som faktisk krever dypere resonnering eller skjønn. Det beste produktet trenger dermed ikke være den billigste eller sterkeste modellen alene, men systemet som bruker hver modell der den fungerer best.
Forbeholdet er fortsatt avgjørende. Floatboats tekniske gjennomgang er den sterkeste dokumentasjonen som er oppgitt for eksperimentet 7. august, og selskapet erkjenner selv at bredere modell-sammenligninger bygger på ulike harness og evalueringsoppsett. Uavhengige gjentakelser, offentliggjorte evalueringsdata og strengere kontroll med instruksjoner, budsjetter, verktøy, nye forsøk og dataversjoner må til før «fem seire» kan regnes som et etablert bransjeresultat. 3
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "DeepSeek-V4-Flash slo Claude Opus 4.8 i fem agenttester – men kjøretidsmiljøet gjorde mye av jobben"?
Floatboat rapporterte at den samme DeepSeek V4 Flash modellen passerte Claude Opus 4.8 i alle fem testene etter at bare kjøringsmiljøet, eller «harnesset», ble byttet ut.
What are the key points to validate first?
Floatboat rapporterte at den samme DeepSeek V4 Flash modellen passerte Claude Opus 4.8 i alle fem testene etter at bare kjøringsmiljøet, eller «harnesset», ble byttet ut. Ved et forhold på 3:1 mellom input og output tokens ble den oppgitte blandede API prisen 0,175 dollar per million tokens for DeepSeek, mot 10 dollar for Opus – rundt 57,1 ganger dyrere for Opus.
What should I do next in practice?
De rapporterte fordelene økte fra 1,9 prosent på de korteste oppgavene til 23,6 prosent på de lengste, noe som peker mot større betydning av tilstand, verktøy, verifisering og feilhåndtering i flertrinnsarbeid.