AnswersPublished15 sources
DeepSeek-V4-Flash päihitti Claude Opus 4.8:n viidessä agenttitestissä – ratkaisevaa oli suoritusympäristö
Floatboat kertoo, että sama DeepSeek V4 Flash ylitti Claude Opus 4.8:n vertailutulokset kaikissa viidessä testissä, kun mallin suoritusympäristö vaihdettiin. DeepSeekin ilmoitettu yhdistetty API tokenihinta oli 0,175 dollaria miljoonalta tokenilta, kun Opus 4.8:n vastaava hinta oli 10 dollaria – noin 57,1 kertainen...
JulkaisijaMuokattu mallilla GPT-5.6 LunaKuvat luotu mallilla GPT Image 1.5
Research answer
Key takeaways
- Floatboat kertoo, että sama DeepSeek V4 Flash ylitti Claude Opus 4.8:n vertailutulokset kaikissa viidessä testissä, kun mallin suoritusympäristö vaihdettiin.
- DeepSeekin ilmoitettu yhdistetty API tokenihinta oli 0,175 dollaria miljoonalta tokenilta, kun Opus 4.8:n vastaava hinta oli 10 dollaria – noin 57,1 kertainen ero.
- Raportoidut hyödyt kasvoivat lyhyistä tehtävistä pitkiin: 1,9 prosentista 23,6 prosenttiin.
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: How did AOE Tech Labs’ Floatboat team’s August 7, 2026 single-variable Harness benchmark experiment show that DeepSeek-V4-Flash—the $0.14 mo. Article summary: Floatboat’s August 7 result is best understood as a vendor-reported ablation: it held the DeepSeek-V4-Flash model constant and replaced the execution harness. Its claim is not that model capability ceased to matter, but . Topic tags: general, general web, user generated, documentation. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks,
Floatboatin 7. elokuuta raportoimaa koetta ei kannata tulkita todisteeksi siitä, että DeepSeek-V4-Flash olisi luonnostaan kyvykkäämpi kuin Claude Opus 4.8. Kyse on paremmin ymmärrettynä yrityksen omasta ablaatiokokeesta: malli pidettiin samana, mutta sen suoritusympäristö eli agenttiharness vaihdettiin. Floatboat kertoo, että tämä muutos nosti saman edullisen mallin Claude Opus 4.8:n julkaistujen vertailutulosten edelle viidessä julkisessa agenttibenchmarkissa. 3
Tulos on kiinnostava ennen kaikkea rajatummasta syystä. Pitkissä agenttitehtävissä mallia ympäröivä järjestelmä voi vaikuttaa onnistumiseen yhtä paljon kuin itse kielimalli. Johtopäätös on kuitenkin suuntaa-antava, ei lopullinen: koetta ei ole vielä toistettu riippumattomasti.
Mitä Floatboat muutti?
Floatboatin mukaan kokeessa käytettiin virallista DeepSeek-V4-Flash-0731-julkaisua samoilla syötteillä ja parametreilla. Vertailussa vaihdettiin DeepSeekin minimalistinen virallinen harness Floatboatin omaan arviointiharnessiin. Siihen kuului eristetty fyysinen hiekkalaatikko sekä pysyvämpi työskentelysilmukka: agentilla oli käytössään työtila ja tiedostot, työkaluja, säilyvä tila ja mahdollisuus tarkastella tuloksia, korjata virheitä ja jatkaa tehtävää. 3
Ero on olennainen, koska agentti ei selviydy tehtävästä vain tuottamalla yhden hyvän vastauksen. Sen täytyy toimia ympäristössä toistuvasti, seurata toimien seurauksia, päivittää suunnitelmaansa ja varoa rikkomasta jo tehtyä työtä.
Viisi raportoitua testitulosta
Floatboatin harnessissa DeepSeek-V4-Flash saavutti yrityksen mukaan seuraavat pisteet:
- BrowseComp: 87,80
- DeepSWE: 67,25
- Terminal Bench 2.1: 84,26
- AutomationBench: 27,50
- Toolathlon: 79,62
Floatboat kertoo näiden ylittäneen Claude Opus 4.8:sta julkaistut vertailutulokset kaikissa viidessä benchmarkissa. 3
Otsikko vaatii silti tärkeän varauksen. Julkisissa benchmark-vertailuissa voidaan yhdistää tuloksia, jotka on tuotettu eri harnesseilla, kehotteilla, työkaluasetuksilla, otanta-asetuksilla ja arviointimenetelmillä. Floatboatin kokeen hallittu osa – sama malli eri harnessissa – on informatiivisempi kuin erilaisten järjestelmien suora sijoittaminen samalle tuloslistalle. Kyse on silti yhä yrityksen itse raportoimasta tuloksesta.
Hintaero oli valtava – mutta vain API-tokenien tasolla
DeepSeekin ilmoitettu hinta oli 0,14 dollaria miljoonalta syötetokenilta ja 0,28 dollaria miljoonalta tulostokenilta. Kun syötteiden ja tulosteiden suhteeksi oletetaan 3:1, yhdistetty hinta lasketaan näin:
(3 × 0,14 + 0,28) ÷ 4 = 0,175 dollaria miljoonalta tokenilta
Floatboat käytti Claude Opus 4.8:lle ilmoitettuja hintoja 5 dollaria miljoonalta syötetokenilta ja 25 dollaria miljoonalta tulostokenilta. Samalla suhteella laskettuna:
(3 × 5 + 25) ÷ 4 = 10 dollaria miljoonalta tokenilta
Näin Opus-vertailu oli yhdistetyllä API-tokenihinnoittelulla noin 57,1 kertaa kalliimpi. 3
Tämä ei tarkoita, että yhden valmiiksi saadun tehtävän hinta olisi automaattisesti 57,1-kertainen. Laskelma ei huomioi työkalumaksuja, laskentaa, välimuistia, kontekstin pituutta, uudelleenyrityksiä, ohjelmistokehitystä tai itse harnessin ylläpitämistä. Kyse on mallin tokenihinnan, ei kokonaiskustannuksen, vertailusta.
Miksi hyöty kasvoi tehtävien pitkittyessä?
Floatboat raportoi suhteellisiksi hyödyiksi 1,9 %, 9,6 %, 12,6 %, 19,9 % ja 23,6 %, kun viisi benchmarkia järjestettiin lyhyen horisontin tehtävistä pitkän horisontin tehtäviin. Yrityksen mukaan sarja oli ei-laskeva: harnessin vaikutus oli pienempi rajatuissa tehtävissä ja suurempi, kun riippuvaisia työvaiheita kertyi enemmän. 3
Pitkähorisonttinen agentti voi epäonnistua, vaikka sen yksittäiset päätökset näyttäisivät järkeviltä. Sen on ehkä:
- löydettävä ja muokattava oikeat tiedostot;
- kutsuttava työkaluja toistuvasti ja tulkittava niiden vastaukset;
- säilytettävä suunnitelma, tila ja työn välivaiheet;
- testattava muutokset ja selvitettävä virheiden syyt;
- toivuttava väärästä toimesta; sekä
- peruttava muutos ennen kuin se sotkee myöhemmän työn.
Heikko suoritusympäristö voi muuttaa oikean päättelyn hukatuksi kontekstiksi, virheellisiksi työkalukutsuiksi, liian aikaiseksi lopettamiseksi tai peruuttamattomiksi muutoksiksi. Parempi malli voi parantaa paikallisia päätöksiä, mutta se ei yksin korjaa ympäristöä, joka ei säilytä tilaa, tarjoa hyödyllistä palautetta tai mahdollista turvallista palautumista.
Siksi tulos on merkittävä yhtä mallivertailua laajemmin. Se siirtää kysymyksen muodosta ”Mikä malli on älykkäin?” kohti käytännöllisempää kysymystä: ”Mikä malli–suoritusympäristö-yhdistelmä saa tehtävän luotettavasti valmiiksi?”
Mitä Harness Leverage Ratio mittaa?
Floatboat esitteli Harness Leverage Ratio -mittarin eli HLR-luvun vertaillakseen suoritusympäristön vaihtamisen ja mallin päivittämisen hyötyä:
HLR = pelkän harness-muutoksen tuoma hyöty
────────────────────────────────────────
vahvempaan vertailujärjestelmään päivittämisen tuoma hyöty
Kun HLR on yli 1, harnessin vaihtaminen on kyseisessä benchmarkissa ja vertailuasetelmassa nostanut tulosta enemmän kuin siirtyminen mitattuun vahvempaan vertailujärjestelmään. Mittari ei ole alan standardi, ja sen arvo riippuu muun muassa valitusta lähtötasosta, vertailumallista, benchmarkin versiosta ja arvioinnin kontrolleista. 2
4
DeepSWE-testissä Floatboat raportoi Flashin nousseen DeepSeekin harnessin tuloksesta 54,4 omaan harnessiinsa siirryttäessä tulokseen 67,25. Parannus oli 12,85 pistettä. Claude Opus 4.8:n siteerattu tulos oli 58,0, eli 3,6 pistettä DeepSeekin lähtötason yläpuolella. Näin HLR-luvuksi saadaan noin 3,57. 3
Floatboat kertoi HLR:n kasvaneen lyhimmän tehtävän 0,78:sta pisimmän tehtävän 3,57:ään. Jos havainto toistuu riippumattomissa kokeissa, se tukisi ajatusta, että suoritusympäristön parannusten arvo kasvaa suhteettomasti tehtävien vaatiessa enemmän tilanhallintaa, työkalukutsuja ja virheistä palautumista. Yleistettävästä luonnonlaista ei kuitenkaan ole kyse: vertailujärjestelmän tai arviointiasetelman vaihtaminen voi muuttaa suhdelukua.
Tulos sopii Floatboatin tuoteajatukseen
Benchmark sopii Floatboatin laajempaan tuotestrategiaan. Julkisissa kuvauksissa yritys esittelee sitä agenttilähtöisenä työympäristönä yksinyrittäjille ja pienille tiimeille. Siihen kuuluu tiedostoja, verkkoselailua, tekoälyvuorovaikutusta, aikataulutusta, viestintää ja uudelleenkäytettäviä taitoja tai työnkulkuja. 1 Toukokuun 2026 julkaisuilmoituksessa yhtiö kuvasi keskittyvänsä ennakoiviin, kalenteriin perustuviin agenttityönkulkuihin ja kertoi taustallaan olevan Sequoia sekä Welight Capital.
18
Tässä ajattelussa suoritusympäristö ei ole kielimallin ohut kuori, vaan olennainen tuotekerros. Agentin on säilytettävä konteksti eri sovellusten välillä, toimittava oikeaan aikaan, noudatettava käyttöoikeuksia ja edistettävä työtä ilman, että käyttäjän täytyy rakentaa jokaista vaihetta käsin uudelleen.
Mitä tämä voi tarkoittaa arjen agenteille?
Jos benchmark-tulos kestää riippumattoman testauksen, päivittäisten agenttien kilpailuetu voi siirtyä mallin ympärillä olevaan toteutuskerrokseen: turvalliseen tilanhallintaan, havaittavuuteen, tulosten varmistamiseen, palautumiseen, käyttöoikeuksiin ja käyttäjän hallintaan.
Tämä tekisi myös mallistrategiasta joustavamman. Edullisemmat mallit voisivat hoitaa rutiininomaista, hyvin tuettua työtä luotettavassa ympäristössä, kun taas kalliimmat mallit säästettäisiin tehtäviin, jotka todella vaativat syvempää päättelyä tai harkintaa. Paras tuote ei siis välttämättä ole halvin malli tai yksinään tehokkain malli, vaan järjestelmä, joka käyttää kutakin mallia siellä, missä siitä on eniten hyötyä.
Varauksella on silti keskeinen rooli. Floatboatin tekninen muistio on vahvin tässä annetun kokeen lähde, ja yhtiö myöntää, että laajemmissa mallien välisissä vertailuissa käytetään erilaisia harnesseja ja arviointiasetelmia. Riippumattomat uusintakokeet, julkaistut arviointiaineistot ja tiukemmat kontrollit kehotteille, budjeteille, työkaluille, uudelleenyrityksille ja dataversioille tarvitaan ennen kuin ”viisi voittoa” voidaan pitää vakiintuneena alan tuloksena. 3
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "DeepSeek-V4-Flash päihitti Claude Opus 4.8:n viidessä agenttitestissä – ratkaisevaa oli suoritusympäristö"?
Floatboat kertoo, että sama DeepSeek V4 Flash ylitti Claude Opus 4.8:n vertailutulokset kaikissa viidessä testissä, kun mallin suoritusympäristö vaihdettiin.
What are the key points to validate first?
Floatboat kertoo, että sama DeepSeek V4 Flash ylitti Claude Opus 4.8:n vertailutulokset kaikissa viidessä testissä, kun mallin suoritusympäristö vaihdettiin. DeepSeekin ilmoitettu yhdistetty API tokenihinta oli 0,175 dollaria miljoonalta tokenilta, kun Opus 4.8:n vastaava hinta oli 10 dollaria – noin 57,1 kertainen ero.
What should I do next in practice?
Raportoidut hyödyt kasvoivat lyhyistä tehtävistä pitkiin: 1,9 prosentista 23,6 prosenttiin.