AnswersPublished15 sources
DeepSeek porazil Claude Opus 4.8 v pěti testech. Rozhodl ale hlavně systém kolem modelu
Floatboat uvádí, že stejný model DeepSeek V4 Flash překonal Claude Opus 4.8 ve všech pěti testovaných agentních benchmarcích poté, co se změnil pouze execution harness; tvrzení zatím nebylo nezávisle replikováno. Při poměru 3:1 mezi vstupními a výstupními tokeny vychází uváděná smíšená cena na 0,175 dolaru za milion...
PublikovalUpraveno pomocí GPT-5.6 LunaObrázky vytvořeny pomocí GPT Image 1.5
Research answer
Key takeaways
- Floatboat uvádí, že stejný model DeepSeek V4 Flash překonal Claude Opus 4.8 ve všech pěti testovaných agentních benchmarcích poté, co se změnil pouze execution harness; tvrzení zatím nebylo nezávisle replikováno.
- Při poměru 3:1 mezi vstupními a výstupními tokeny vychází uváděná smíšená cena na 0,175 dolaru za milion tokenů u DeepSeeku oproti 10 dolarům u Opusu — Claude je tedy zhruba 57,1krát dražší na úrovni API tokenů.
- Nahlášené relativní zisky rostly od 1,9 % u nejkratších úloh až na 23,6 % u nejdelších, což naznačuje rostoucí význam práce se stavem, nástroji, ověřováním a obnovou po chybách.
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: How did AOE Tech Labs’ Floatboat team’s August 7, 2026 single-variable Harness benchmark experiment show that DeepSeek-V4-Flash—the $0.14 mo. Article summary: Floatboat’s August 7 result is best understood as a vendor-reported ablation: it held the DeepSeek-V4-Flash model constant and replaced the execution harness. Its claim is not that model capability ceased to matter, but . Topic tags: general, general web, user generated, documentation. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks,
Výsledek zveřejněný společností Floatboat 7. srpna není nejlepší číst jako důkaz, že DeepSeek-V4-Flash je sám o sobě schopnější než Claude Opus 4.8. Přesnější je chápat ho jako firemní ablační experiment: model zůstal stejný, změnil se pouze systém, který řídí jeho vykonávání úloh. Floatboat tvrdí, že tato změna stačila k tomu, aby levný DeepSeek předstihl zveřejněné výsledky Opusu 4.8 ve všech pěti veřejných benchmarcích pro AI agenty. 3
Důležitější a užitečnější závěr je užší: u dlouhých agentních úloh může okolní infrastruktura přispět k úspěchu přinejmenším stejně jako samotný jazykový model. Jde však zatím o indicii, nikoli o uzavřený verdikt — experiment nebyl nezávisle zopakován.
Co Floatboat změnil
Podle Floatboatu použil oficiální vydání DeepSeek-V4-Flash-0731, stejné vstupy i parametry. Porovnal přitom minimalistický oficiální harness od DeepSeeku s vlastním evaluačním harnesssem. Ten agentovi poskytoval izolované fyzické sandboxové prostředí, trvalejší pracovní smyčku, přístup k pracovním souborům a nástrojům, zachování stavu a možnost kontrolovat výsledky, opravovat chyby a pokračovat v práci. 3
Rozdíl je zásadní. Agent neuspěje jen tím, že jednou vygeneruje dobrou odpověď. Musí opakovaně jednat v prostředí, sledovat následky svých kroků, upravovat plán a přitom nepoškodit práci, kterou už dokončil.
Výsledky pěti benchmarků
Ve vlastním harnessu Floatboatu měl DeepSeek-V4-Flash podle zveřejněných údajů tyto výsledky:
- BrowseComp: 87,80
- DeepSWE: 67,25
- Terminal Bench 2.1: 84,26
- AutomationBench: 27,50
- Toolathlon: 79,62
Floatboat uvádí, že tím překonal zveřejněná srovnání s Claude Opus 4.8 ve všech pěti testech. 3
Titulní tvrzení ale potřebuje důležitou poznámku pod čarou. Veřejná srovnání benchmarků mohou kombinovat výsledky získané s odlišnými harnessy, prompty, konfiguracemi nástrojů, nastavením vzorkování i postupy vyhodnocení. Kontrolovaná část experimentu Floatboatu — tedy stejný model v jiném harnessu — je proto informativnější než prosté seřazení různých systémů do jedné tabulky. Stále však jde o výsledek oznámený samotnou společností.
Cenový rozdíl je obrovský, ale týká se jen tokenů API
Floatboat uvádí cenu DeepSeeku 0,14 dolaru za milion vstupních tokenů a 0,28 dolaru za milion výstupních tokenů. Při poměru vstupu k výstupu 3:1 vychází smíšená cena takto:
(3 × 0,14 + 0,28) ÷ 4 = 0,175 dolaru za milion tokenů
U Claude Opus 4.8 Floatboat použil ceny 5 dolarů za milion vstupních tokenů a 25 dolarů za milion výstupních tokenů. Při stejném poměru:
(3 × 5 + 25) ÷ 4 = 10 dolarů za milion tokenů
Na úrovni smíšené ceny API tokenů tak vychází Opus přibližně 57,1krát dráž. 3
To ovšem neznamená, že dokončení konkrétního úkolu stojí 57,1krát více. Výpočet nezahrnuje poplatky za nástroje, výpočetní výkon, cachování, délku kontextu, opakované pokusy, náklady na vývoj ani samotný provoz harnessu. Jde o porovnání ceny tokenů modelu, nikoli o analýzu celkových nákladů na provoz.
Proč se výhoda zvětšovala u delších úloh
Floatboat nahlásil relativní zisky 1,9 %, 9,6 %, 12,6 %, 19,9 % a 23,6 %, když byly benchmarky seřazeny od kratších po delší úlohy. Společnost popisuje tuto řadu jako neklesající: harness měl menší vliv u omezených úloh a větší vliv s rostoucím počtem navazujících kroků. 3
Dlouhodobý agent může selhat, i když jednotlivá rozhodnutí vypadají rozumně. Potřebuje například:
- najít a upravit správné soubory;
- opakovaně volat nástroje a správně interpretovat jejich výstupy;
- uchovávat plán, stav úlohy a průběžné výsledky;
- testovat změny a odhalovat příčiny chyb;
- zotavit se z chybného kroku;
- vrátit změnu zpět dřív, než poškodí další práci.
Slabá prováděcí smyčka může proměnit správné uvažování ve ztracený kontext, neplatná volání nástrojů, předčasné ukončení nebo změny, které už nelze bezpečně vzít zpět. Lepší model může pomoci s místními rozhodnutími, ale nenahradí prostředí, které neuchovává stav, neposkytuje užitečnou zpětnou vazbu nebo neumí bezpečně obnovit práci.
Výsledek tak přesouvá pozornost od otázky „Který model je nejchytřejší?“ k praktičtější otázce: „Která kombinace modelu a runtime dokáže úkol spolehlivě dokončit?“
Co měří Harness Leverage Ratio
Floatboat představil ukazatel Harness Leverage Ratio, zkráceně HLR, který má porovnat přínos změny harnessu s přínosem přechodu na silnější model:
HLR = přínos samotné změny harnessu
───────────────────────────────
přínos přechodu na silnější referenční systém
HLR vyšší než 1 znamená, že v daném benchmarku a při zvoleném srovnání přinesla změna harnessu větší nárůst skóre než měřený přechod k silnějšímu referenčnímu systému. Nejde o oborový standard a hodnota závisí na zvolené základní variantě, referenčním modelu, verzi benchmarku a kontrolních podmínkách. 2
4
Na DeepSWE Floatboat uvádí růst výsledku Flash z 54,4 v harnessu DeepSeeku na 67,25 ve vlastním harnessu, tedy o 12,85 bodu. Zveřejněný výsledek Opusu 4.8 činil 58,0, což představovalo rozdíl 3,6 bodu oproti základnímu výsledku DeepSeeku. Z toho vychází HLR přibližně 3,57. 3
Floatboat také oznámil, že HLR rostl od 0,78 u nejkratší úlohy až na 3,57 u nejdelší. Pokud by se tento vzorec potvrdil v nezávislých testech, podporoval by tezi, že zlepšení runtime má nepoměrně větší hodnotu u úloh vyžadujících více stavů, volání nástrojů a oprav po chybách. Nelze z něj ale dělat univerzální zákon: změna referenčního systému nebo podmínek vyhodnocení může výsledný poměr změnit.
Výsledek zapadá do produktové strategie Floatboatu
Benchmark odpovídá širšímu směřování Floatboatu. Veřejné popisy platformu představují jako pracovní prostředí vytvořené přímo pro AI agenty a zaměřené na jednotlivce či malé týmy. Kombinuje soubory, prohlížení webu, AI interakce, plánování, komunikaci a opakovaně použitelné dovednosti nebo workflow. 1 Oznámení globálního uvedení z května 2026 popsalo zaměření firmy na proaktivní agenty řízené kalendářem a uvedlo jako investory Sequoia a Welight Capital.
18
Tento přístup chápe runtime jako klíčovou vrstvu, nikoli jen jako tenkou nástavbu nad jazykovým modelem. Agent musí udržovat kontext napříč aplikacemi, jednat ve správný okamžik, respektovat oprávnění a postupovat vpřed bez toho, aby uživatel musel každý krok ručně rekonstruovat.
Co to může znamenat pro každodenní AI agenty
Pokud výsledek obstojí v nezávislém testování, konkurenční výhoda u každodenních agentů se může přesunout k prováděcí vrstvě: k bezpečné správě stavu, sledovatelnosti, ověřování, obnově po chybách, oprávněním a kontrole ze strany uživatele.
To by zároveň umožnilo pružnější strategii výběru modelů. Levnější modely by mohly zvládat rutinní a dobře strukturovanou práci uvnitř spolehlivého runtime, zatímco prémiové modely by se nasazovaly na úkoly, které skutečně vyžadují hlubší uvažování nebo úsudek. Nejlepší produkt by tak nemusel být ani nejlevnější, ani nejsilnější model izolovaně, ale systém, který každý model používá tam, kde je nejefektivnější.
Výhrada ale zůstává klíčová. Nejsilnějším podkladem pro experiment z 7. srpna je technický materiál Floatboatu a sama společnost připouští, že širší srovnání modelů používají rozdílné harnessy a konfigurace vyhodnocení. Než se z titulku o „pěti vítězstvích“ stane obecně uznávaný výsledek, budou potřeba nezávislé opakované testy, zveřejněné evaluační artefakty a přesnější kontrola promptů, rozpočtů, nástrojů, opakování i verzí dat. 3
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "DeepSeek porazil Claude Opus 4.8 v pěti testech. Rozhodl ale hlavně systém kolem modelu"?
Floatboat uvádí, že stejný model DeepSeek V4 Flash překonal Claude Opus 4.8 ve všech pěti testovaných agentních benchmarcích poté, co se změnil pouze execution harness; tvrzení zatím nebylo nezávisle replikováno.
What are the key points to validate first?
Floatboat uvádí, že stejný model DeepSeek V4 Flash překonal Claude Opus 4.8 ve všech pěti testovaných agentních benchmarcích poté, co se změnil pouze execution harness; tvrzení zatím nebylo nezávisle replikováno. Při poměru 3:1 mezi vstupními a výstupními tokeny vychází uváděná smíšená cena na 0,175 dolaru za milion tokenů u DeepSeeku oproti 10 dolarům u Opusu — Claude je tedy zhruba 57,1krát dražší na úrovni API tokenů.
What should I do next in practice?
Nahlášené relativní zisky rostly od 1,9 % u nejkratších úloh až na 23,6 % u nejdelších, což naznačuje rostoucí význam práce se stavem, nástroji, ověřováním a obnovou po chybách.