AnswersPublished15 sources
DeepSeek slog Claude i fem agenttester – men det var körmiljön som gjorde jobbet
Floatboat uppger att samma DeepSeek V4 Flash modell gick om Claude Opus 4.8 i fem agentbenchmark när endast körmiljön, eller harness, byttes ut. Vid ett förhållande på 3:1 mellan indata och utdata kostade DeepSeek enligt uppgifterna 0,175 dollar per miljon blandade token, jämfört med 10 dollar för Opus – cirka 57,1...
Publicerad avRedigerad med GPT-5.6 LunaBilder genererade med GPT Image 1.5
Research answer
Key takeaways
- Floatboat uppger att samma DeepSeek V4 Flash modell gick om Claude Opus 4.8 i fem agentbenchmark när endast körmiljön, eller harness, byttes ut.
- Vid ett förhållande på 3:1 mellan indata och utdata kostade DeepSeek enligt uppgifterna 0,175 dollar per miljon blandade token, jämfört med 10 dollar för Opus – cirka 57,1 gånger mer för Claude.
- De rapporterade fördelarna ökade från 1,9 procent på de kortaste uppgifterna till 23,6 procent på de längsta, vilket antyder att tillståndshantering, verktyg, verifiering och återställning blir viktigare när uppgifter...
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: How did AOE Tech Labs’ Floatboat team’s August 7, 2026 single-variable Harness benchmark experiment show that DeepSeek-V4-Flash—the $0.14 mo. Article summary: Floatboat’s August 7 result is best understood as a vendor-reported ablation: it held the DeepSeek-V4-Flash model constant and replaced the execution harness. Its claim is not that model capability ceased to matter, but . Topic tags: general, general web, user generated, documentation. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks,
Floatboats resultat från den 7 augusti bör inte läsas som ett bevis på att DeepSeek-V4-Flash i grunden är mer kapabel än Claude Opus 4.8. Det är snarare ett företagsrapporterat ablationstest: modellen hölls konstant medan körmiljön byttes ut. Enligt Floatboat räckte den förändringen för att samma lågprismodell skulle hamna före de publicerade jämförelserna med Opus 4.8 i fem öppna agentbenchmark. 3
Den mer användbara slutsatsen är snävare: vid långvariga agentuppgifter kan systemet runt modellen bidra minst lika mycket till resultatet som modellen själv. Det är en intressant indikation, inte ett avgjort faktum, eftersom försöket ännu inte har upprepats oberoende.
Vad Floatboat ändrade
Floatboat uppger att företaget använde den officiella versionen DeepSeek-V4-Flash-0731 med samma indata och parametrar. Därefter jämfördes DeepSeeks minimalistiska officiella körmiljö med Floatboats egen utvärderingsmiljö. Den senare använde en isolerad fysisk sandlåda och gav agenten en mer uthållig arbetsloop med åtkomst till arbetsyta och filer, verktyg, sparat tillstånd samt möjligheter att granska resultat, rätta fel och fortsätta arbeta. 3
Skillnaden är viktig eftersom en agent inte lyckas genom att ge ett bra svar en enda gång. Den måste agera i en miljö, se vad som hände, uppdatera sin plan och undvika att förstöra arbete som redan är gjort.
De fem rapporterade resultaten
I Floatboats körmiljö uppges DeepSeek-V4-Flash ha fått följande poäng:
- BrowseComp: 87,80
- DeepSWE: 67,25
- Terminal Bench 2.1: 84,26
- AutomationBench: 27,50
- Toolathlon: 79,62
Floatboat säger att resultaten överträffade de publicerade jämförelserna med Claude Opus 4.8 i alla fem benchmark. 3
Rubriken behöver dock en brasklapp. Offentliga benchmarkjämförelser kan bygga på olika körmiljöer, promptar, verktygskonfigurationer, samplingsinställningar och utvärderingsmetoder. Den kontrollerade delen av Floatboats test – samma modell, men en annan körmiljö – är mer informativ än att bara placera olika system på samma topplista. Ändå handlar det fortfarande om ett resultat som företaget självt har rapporterat.
Den stora kostnadsskillnaden gäller bara API-token
Det rapporterade priset för DeepSeek var 0,14 dollar per miljon indatatoken och 0,28 dollar per miljon utdata-token. Med ett förhållande på 3:1 mellan indata och utdata blir det blandade priset:
(3 × 0,14 + 0,28) ÷ 4 = 0,175 dollar per miljon token
Floatboat använde angivna priser för Claude Opus 4.8 på 5 dollar per miljon indatatoken och 25 dollar per miljon utdata-token. Med samma förhållande blir priset:
(3 × 5 + 25) ÷ 4 = 10 dollar per miljon token
Opus blir därmed ungefär 57,1 gånger dyrare räknat på det blandade API-tokenpriset. 3
Det betyder inte att en färdig uppgift automatiskt kostar 57,1 gånger mer. Beräkningen tar inte hänsyn till verktygsavgifter, beräkningskostnader, cachelagring, kontextlängd, omförsök, utveckling eller kostnaden för att driva själva körmiljön. Det är en jämförelse av modelltoken – inte en fullständig kostnadskalkyl.
Därför växte fördelen på längre uppgifter
När benchmarken ordnades från kortare till längre uppgifter rapporterade Floatboat relativa förbättringar på 1,9, 9,6, 12,6, 19,9 och 23,6 procent. Företaget beskriver serien som icke-minskande: körmiljön hade mindre betydelse för avgränsade uppgifter, men större betydelse när antalet beroende steg ökade. 3
En agent kan misslyckas med en lång uppgift även om varje enskilt beslut ser rimligt ut. Den kan behöva:
- hitta och redigera rätt filer,
- anropa verktyg upprepade gånger och tolka resultaten,
- bevara planer, tillstånd och mellanresultat,
- testa ändringar och felsöka,
- återhämta sig efter en felaktig åtgärd, och
- rulla tillbaka en ändring innan den förstör det fortsatta arbetet.
En svag arbetsloop kan förvandla korrekt resonemang till förlorad kontext, ogiltiga verktygsanrop, för tidigt avslut eller ändringar som inte går att reparera. En starkare modell kan förbättra de lokala besluten, men den kan inte fullt ut kompensera för en miljö som inte bevarar tillstånd, ger användbar återkoppling eller erbjuder säkra sätt att återställa fel.
Det är därför resultatet är relevant bortom just jämförelsen mellan två modeller. Fokus flyttas från frågan ”Vilken modell är smartast?” till ”Vilken kombination av modell och körmiljö kan faktiskt slutföra uppgiften på ett tillförlitligt sätt?”
Floatboats mått HLR försöker sätta siffror på effekten
Floatboat introducerade Harness Leverage Ratio, förkortat HLR, för att jämföra nyttan av att byta körmiljö med nyttan av att uppgradera modellen:
HLR = vinsten av att endast byta körmiljö
────────────────────────────────────
vinsten av att uppgradera till referenssystemet
Ett HLR över 1 innebär att bytet av körmiljö gav en större poängökning än den uppmätta uppgraderingen till det starkare referenssystemet. Måttet är inte någon branschstandard, och värdet påverkas av vilken baslinje, referensmodell, benchmarkversion och vilka kontrollvariabler som används. 2
4
På DeepSWE rapporterade Floatboat att Flash steg från 54,4 i DeepSeeks körmiljö till 67,25 i Floatboats – en ökning med 12,85 poäng. Det angivna resultatet för Opus 4.8 var 58,0, alltså 3,6 poäng över DeepSeek-baslinjen. Det ger ett HLR på ungefär 3,57. 3
Floatboat uppgav också att HLR ökade från 0,78 på den kortaste uppgiften till 3,57 på den längsta. Om mönstret kan reproduceras skulle det stödja idén att förbättringar i körmiljön blir oproportionerligt värdefulla när uppgifterna kräver mer sparat tillstånd, fler verktygsanrop och mer återhämtning. Det ska däremot inte tolkas som en allmän naturlag: ett annat referenssystem eller en annan utvärderingsdesign kan ge ett annat förhållande.
Resultatet passar Floatboats produktidé
Benchmarken ligger nära Floatboats bredare produktpositionering. Offentliga beskrivningar presenterar tjänsten som en agentanpassad arbetsmiljö för enmansföretagare och andra solooperatörer, med filer, webbläsning, AI-interaktioner, schemaläggning, kommunikation och återanvändbara färdigheter eller arbetsflöden. 1 I ett lanseringsmeddelande från maj 2026 beskrev företaget sitt fokus på proaktiva, kalenderstyrda agentarbetsflöden och uppgav att Sequoia och Welight Capital var investerare.
18
Den produktlinjen behandlar alltså körmiljön som ett centralt lager – inte som ett tunt skal runt en språkmodell. Agenten måste kunna hålla samman kontext mellan olika appar, agera vid rätt tidpunkt, följa behörigheter och göra framsteg utan att användaren manuellt behöver återskapa varje steg.
Vad det kan betyda för vardagens AI-agenter
Om benchmarkresultatet står sig i oberoende tester kan konkurrensfördelen hos vardagsagenter i högre grad flytta till själva exekveringslagret: säker tillståndshantering, insyn i vad agenten gör, verifiering, återställning, behörigheter och användarkontroll.
Det skulle också ge en mer flexibel modellstrategi. Billigare modeller kan hantera rutinuppgifter i en välstrukturerad och pålitlig miljö, medan premiummodeller reserveras för uppgifter som faktiskt kräver djupare analys eller omdöme. Den bästa produkten behöver därför inte vara vare sig den billigaste eller den starkaste modellen isolerat – utan det system som använder varje modell där den gör mest nytta.
Brasklappen är fortfarande avgörande. Floatboats tekniska rapport är det starkaste underlaget för experimentet den 7 augusti, och företaget medger att bredare jämförelser mellan modeller bygger på olika körmiljöer och utvärderingskonfigurationer. Oberoende omkörningar, publicerade utvärderingsdata och striktare kontroll av promptar, budgetar, verktyg, omförsök och dataversioner krävs innan påståendet om ”fem vinster” kan betraktas som ett etablerat branschresultat. 3
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "DeepSeek slog Claude i fem agenttester – men det var körmiljön som gjorde jobbet"?
Floatboat uppger att samma DeepSeek V4 Flash modell gick om Claude Opus 4.8 i fem agentbenchmark när endast körmiljön, eller harness, byttes ut.
What are the key points to validate first?
Floatboat uppger att samma DeepSeek V4 Flash modell gick om Claude Opus 4.8 i fem agentbenchmark när endast körmiljön, eller harness, byttes ut. Vid ett förhållande på 3:1 mellan indata och utdata kostade DeepSeek enligt uppgifterna 0,175 dollar per miljon blandade token, jämfört med 10 dollar för Opus – cirka 57,1 gånger mer för Claude.
What should I do next in practice?
De rapporterade fördelarna ökade från 1,9 procent på de kortaste uppgifterna till 23,6 procent på de längsta, vilket antyder att tillståndshantering, verktyg, verifiering och återställning blir viktigare när uppgifter...