AntwortenVeröffentlicht15 Quellen
DeepSeek-V4-Flash schlägt Claude Opus 4.8 in fünf Agenten-Benchmarks – doch der entscheidende Faktor war das Harness
Floatboat berichtet, dass dasselbe DeepSeek V4 Flash Modell nach dem Wechsel auf ein leistungsfähigeres Ausführungs Harness in allen fünf getesteten Agenten Benchmarks vor Claude Opus 4.8 lag. Bei einem Verhältnis von drei Eingabe zu einem Ausgabetoken kostete DeepSeek laut den angegebenen Preisen im Schnitt 0,175 U...
Veröffentlicht vonBearbeitet mit GPT-5.6 LunaBilder erstellt mit GPT Image 1.5
Forschungsantwort
Wichtige Erkenntnisse
- Floatboat berichtet, dass dasselbe DeepSeek V4 Flash Modell nach dem Wechsel auf ein leistungsfähigeres Ausführungs Harness in allen fünf getesteten Agenten Benchmarks vor Claude Opus 4.8 lag.
- Bei einem Verhältnis von drei Eingabe zu einem Ausgabetoken kostete DeepSeek laut den angegebenen Preisen im Schnitt 0,175 US Dollar pro Million Tokens, Claude Opus 4.8 dagegen 10 US Dollar – rund 57,1 mal mehr.
- Die gemeldeten Harness Vorteile stiegen bei der Reihenfolge von kürzeren zu längeren Aufgaben von 1,9 auf 23,6 Prozent.
KI-Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: How did AOE Tech Labs’ Floatboat team’s August 7, 2026 single-variable Harness benchmark experiment show that DeepSeek-V4-Flash—the $0.14 mo. Article summary: Floatboat’s August 7 result is best understood as a vendor-reported ablation: it held the DeepSeek-V4-Flash model constant and replaced the execution harness. Its claim is not that model capability ceased to matter, but . Topic tags: general, general web, user generated, documentation. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks,
Floatboats Ergebnis vom 7. August sollte nicht als Beweis verstanden werden, dass DeepSeek-V4-Flash grundsätzlich leistungsfähiger ist als Claude Opus 4.8. Aussagekräftiger ist eine engere Interpretation: ein vom Anbieter berichteter Ablationstest, bei dem das Modell unverändert blieb und nur das Ausführungs-Harness ausgetauscht wurde. Laut Floatboat reichte dieser Wechsel aus, um das vergleichsweise günstige Modell in fünf öffentlichen Agenten-Benchmarks vor die veröffentlichten Vergleichswerte von Opus 4.8 zu bringen. 3
Die wichtigere Schlussfolgerung lautet: Bei lang laufenden Agentenaufgaben kann das System rund um ein Sprachmodell ebenso viel zum Erfolg beitragen wie das Modell selbst. Bewiesen ist das damit noch nicht – der Versuch wurde bislang nicht unabhängig reproduziert.
Was Floatboat verändert hat
Floatboat gibt an, die offizielle Version DeepSeek-V4-Flash-0731 mit identischen Eingaben und Parametern getestet zu haben. Verglichen wurden DeepSeeks minimalistisches offizielles Harness und Floatboats eigenes Evaluations-Harness.
Letzteres setzte laut Unternehmen auf eine isolierte physische Sandbox und einen dauerhafteren Arbeitsablauf: mit Zugriff auf Arbeitsbereich und Dateien, Werkzeugen, erhaltenem Zustand sowie der Möglichkeit, Ergebnisse zu prüfen, Fehler zu korrigieren und die Aufgabe fortzusetzen. 3
Das ist entscheidend, weil ein Agent nicht nur einmal eine gute Antwort erzeugen muss. Er muss wiederholt in einer Umgebung handeln, die Folgen seiner Aktionen beobachten, seinen Plan aktualisieren und bereits erledigte Arbeit schützen.
Die fünf gemeldeten Ergebnisse
Im Floatboat-Harness erzielte DeepSeek-V4-Flash laut Floatboat folgende Werte:
- BrowseComp: 87,80
- DeepSWE: 67,25
- Terminal Bench 2.1: 84,26
- AutomationBench: 27,50
- Toolathlon: 79,62
Nach Angaben des Unternehmens lagen diese Ergebnisse in allen fünf Benchmarks über den veröffentlichten Vergleichswerten für Claude Opus 4.8. 3
Die Schlagzeile braucht jedoch eine Einordnung. Öffentliche Benchmarkvergleiche können Werte kombinieren, die mit unterschiedlichen Harnesses, Prompts, Werkzeugkonfigurationen, Sampling-Einstellungen und Bewertungsverfahren entstanden sind. Aussagekräftiger als eine gemeinsame Rangliste ungleicher Systeme ist deshalb der kontrollierte Teil des Versuchs: dasselbe Modell mit einer anderen Ausführungsumgebung.
Trotzdem bleibt das Ergebnis ein Unternehmensbericht. Es ist noch kein unabhängig bestätigter Branchenstandard.
Der Preisabstand ist groß – aber nur auf Token-Ebene
Für DeepSeek wurden 0,14 US-Dollar pro Million Eingabetokens und 0,28 US-Dollar pro Million Ausgabetokens angegeben. Bei einem Verhältnis von drei zu eins ergibt sich folgender Mischpreis:
(3 × 0,14 US-Dollar + 0,28 US-Dollar) ÷ 4 = 0,175 US-Dollar pro Million Tokens
Für Claude Opus 4.8 nennt Floatboat 5 US-Dollar pro Million Eingabetokens und 25 US-Dollar pro Million Ausgabetokens. Unter demselben Verhältnis ergibt sich:
(3 × 5 US-Dollar + 25 US-Dollar) ÷ 4 = 10 US-Dollar pro Million Tokens
Auf Basis dieser gemischten API-Tokenpreise wäre Opus damit rund 57,1-mal teurer als DeepSeek. 3
Das bedeutet allerdings nicht, dass eine vollständig erledigte Aufgabe 57,1-mal mehr kostet. In der Rechnung fehlen unter anderem Gebühren für Werkzeuge, Rechenleistung, Caching, lange Kontexte, Wiederholungen, Entwicklung und der Betrieb des Harness selbst. Es handelt sich um einen Vergleich der Modell-Tokenpreise – nicht um eine Total-Cost-of-Ownership-Analyse.
Warum der Vorteil bei langen Aufgaben zunahm
Floatboat meldete relative Zugewinne von 1,9 Prozent, 9,6 Prozent, 12,6 Prozent, 19,9 Prozent und 23,6 Prozent, wenn die fünf Benchmarks von kürzeren zu längeren Aufgabenhorizonten sortiert wurden. Die Abfolge sei nicht fallend: Je mehr voneinander abhängige Schritte eine Aufgabe enthielt, desto größer wurde laut Unternehmen der Einfluss des Harness. 3
Bei einer langen Agentenaufgabe kann das Gesamtergebnis scheitern, obwohl einzelne Entscheidungen durchaus sinnvoll waren. Der Agent muss möglicherweise:
- die richtigen Dateien finden und bearbeiten;
- wiederholt Werkzeuge aufrufen und deren Ausgaben interpretieren;
- Pläne, Zustände und Zwischenergebnisse bewahren;
- Änderungen testen und Fehler diagnostizieren;
- sich von einer falschen Aktion erholen; und
- eine schädliche Änderung zurückrollen, bevor sie weitere Arbeit beeinträchtigt.
Ein schwacher Ausführungszyklus kann richtiges Schlussfolgern in verlorenen Kontext, ungültige Tool-Aufrufe, einen vorzeitigen Abbruch oder nicht mehr behebbare Änderungen verwandeln. Ein stärkeres Modell verbessert zwar lokale Entscheidungen, kann aber eine Umgebung nicht vollständig kompensieren, die keinen Zustand bewahrt, kein brauchbares Feedback liefert oder keine sichere Wiederherstellung erlaubt.
Damit verschiebt sich die relevante Frage von „Welches Modell ist am klügsten?“ zu „Welche Kombination aus Modell und Laufzeitumgebung erledigt die Aufgabe zuverlässig?“
Was die Harness Leverage Ratio aussagen soll
Floatboat führte die Harness Leverage Ratio, kurz HLR, ein. Sie soll den Nutzen eines Harness-Wechsels mit dem Nutzen eines Modell-Upgrades vergleichen:
HLR = Leistungsgewinn durch alleinigen Harness-Wechsel
───────────────────────────────────────────────
Leistungsgewinn durch ein Upgrade auf das stärkere Referenzsystem
Ein HLR-Wert über 1 bedeutet, dass der Wechsel der Ausführungsumgebung im jeweiligen Benchmark einen größeren Punktgewinn brachte als das gemessene Upgrade auf das stärkere Referenzsystem. Die Kennzahl ist kein Branchenstandard. Ihr Wert hängt unter anderem vom gewählten Ausgangssystem, Referenzmodell, Benchmark, der Version und den Kontrollbedingungen ab. 2
4
Auf DeepSWE berichtet Floatboat, dass Flash im eigenen Harness von 54,4 auf 67,25 stieg – ein Plus von 12,85 Punkten. Das angeführte Ergebnis von Opus 4.8 lag bei 58,0, also 3,6 Punkte über dem DeepSeek-Ausgangswert. Daraus ergibt sich eine HLR von ungefähr 3,57. 3
Außerdem meldete Floatboat, dass die HLR von 0,78 bei der kürzesten Aufgabe auf 3,57 bei der längsten stieg. Sollte sich dieses Muster bestätigen, würde es die These stützen, dass Laufzeitverbesserungen überproportional wertvoll werden, wenn Aufgaben mehr Zustand, Werkzeugaufrufe und Fehlerbehebung erfordern. Als allgemeines Gesetz lässt sich daraus jedoch nichts ableiten: Ein anderes Referenzsystem oder ein anderes Evaluationsdesign könnte die Kennzahl verändern.
Was der Test über Floatboats Produktstrategie verrät
Der Benchmark passt zu Floatboats breiterer Produktpositionierung. Öffentliche Beschreibungen stellen das Unternehmen als agentenorientierte Arbeitsumgebung für Einzelunternehmer und kleine Teams dar, die Dateien, Browser, KI-Interaktionen, Terminplanung, Kommunikation sowie wiederverwendbare Skills und Workflows verbindet. 1 Eine Ankündigung zum Start im Mai 2026 beschrieb den Schwerpunkt auf proaktiven, kalendergesteuerten Agenten-Workflows und nannte Sequoia sowie Welight Capital als Unterstützer.
18
Diese Produktidee behandelt die Laufzeitumgebung nicht als dünne Zusatzschicht um ein Sprachmodell, sondern als zentrale Ebene. Ein Agent muss Kontext über mehrere Anwendungen hinweg halten, zum richtigen Zeitpunkt handeln, Berechtigungen beachten und Fortschritte machen, ohne dass der Nutzer jeden einzelnen Schritt manuell neu anstoßen muss.
Die größere Bedeutung für Alltagsagenten
Falls der Benchmarktest unabhängigen Überprüfungen standhält, könnte sich der Wettbewerb bei alltäglichen Agenten stärker auf die Ausführungsumgebung verlagern: sichere Zustandsverwaltung, Beobachtbarkeit, Überprüfung, Wiederherstellung, Berechtigungen und Kontrolle durch den Nutzer.
Das würde auch eine flexiblere Modellstrategie ermöglichen. Günstigere Modelle könnten Routineaufgaben in einer zuverlässigen Umgebung übernehmen, während Premium-Modelle für Aufgaben reserviert würden, die tatsächlich tiefere Schlussfolgerungen oder anspruchsvollere Urteile erfordern. Das beste Produkt wäre dann weder automatisch das billigste noch das stärkste Modell allein, sondern ein System, das jedes Modell dort einsetzt, wo es seine Stärken ausspielen kann.
Der Vorbehalt bleibt zentral: Der technische Bericht von Floatboat ist die stärkste vorliegende Quelle für das Experiment. Das Unternehmen räumt selbst ein, dass umfassendere Modellvergleiche mit unterschiedlichen Harnesses und Evaluationskonfigurationen arbeiten. Unabhängige Wiederholungen, veröffentlichte Evaluationsartefakte und strengere Kontrollen bei Prompts, Budgets, Werkzeugen, Wiederholungen und Datenversionen wären nötig, bevor aus den „fünf Siegen“ ein etablierter Branchenbefund wird. 3
Studio Global AI
Setzen Sie Ihre Recherche fort
Diese Seite enthält eine quellengestützte Antwort, die Sie in Studio Global fortsetzen können.
Die Leute fragen auch
Wie lautet die kurze Antwort auf „DeepSeek-V4-Flash schlägt Claude Opus 4.8 in fünf Agenten-Benchmarks – doch der entscheidende Faktor war das Harness“?
Floatboat berichtet, dass dasselbe DeepSeek V4 Flash Modell nach dem Wechsel auf ein leistungsfähigeres Ausführungs Harness in allen fünf getesteten Agenten Benchmarks vor Claude Opus 4.8 lag.
Was sind die wichtigsten Punkte, die zuerst validiert werden müssen?
Floatboat berichtet, dass dasselbe DeepSeek V4 Flash Modell nach dem Wechsel auf ein leistungsfähigeres Ausführungs Harness in allen fünf getesteten Agenten Benchmarks vor Claude Opus 4.8 lag. Bei einem Verhältnis von drei Eingabe zu einem Ausgabetoken kostete DeepSeek laut den angegebenen Preisen im Schnitt 0,175 US Dollar pro Million Tokens, Claude Opus 4.8 dagegen 10 US Dollar – rund 57,1 mal mehr.
Was soll ich als nächstes in der Praxis tun?
Die gemeldeten Harness Vorteile stiegen bei der Reihenfolge von kürzeren zu längeren Aufgaben von 1,9 auf 23,6 Prozent.