AnswersPublished15 sources
DeepSeek-V4-Flash supera Claude Opus 4.8 in cinque benchmark: il vero vantaggio era il sistema
Floatboat riferisce che lo stesso modello DeepSeek V4 Flash ha superato Claude Opus 4.8 nei cinque benchmark testati dopo la sostituzione del solo harness di esecuzione; il risultato è interessante, ma non è ancora st... Con un rapporto di 3:1 tra token in ingresso e in uscita, il costo API combinato dichiarato era...
Pubblicato daModificato con GPT-5.6 LunaImmagini generate con GPT Image 1.5
Research answer
Key takeaways
- Floatboat riferisce che lo stesso modello DeepSeek V4 Flash ha superato Claude Opus 4.8 nei cinque benchmark testati dopo la sostituzione del solo harness di esecuzione; il risultato è interessante, ma non è ancora st...
- Con un rapporto di 3:1 tra token in ingresso e in uscita, il costo API combinato dichiarato era di 0,175 dollari per milione di token per DeepSeek contro 10 dollari per Opus: circa 57,1 volte in più per il modello di...
- I vantaggi dichiarati dal nuovo harness sono cresciuti dall’1,9% sui compiti più brevi al 23,6% su quelli più lunghi, suggerendo che memoria dello stato, strumenti, verifica e recupero diventano decisivi quando un age...
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: How did AOE Tech Labs’ Floatboat team’s August 7, 2026 single-variable Harness benchmark experiment show that DeepSeek-V4-Flash—the $0.14 mo. Article summary: Floatboat’s August 7 result is best understood as a vendor-reported ablation: it held the DeepSeek-V4-Flash model constant and replaced the execution harness. Its claim is not that model capability ceased to matter, but . Topic tags: general, general web, user generated, documentation. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks,
Il risultato pubblicato da Floatboat il 7 agosto va letto con cautela: non è la prova che DeepSeek-V4-Flash sia, in assoluto, più capace di Claude Opus 4.8. È piuttosto un’ablazione riportata dall’azienda: il modello è rimasto invariato, mentre è stato sostituito l’harness, cioè l’ambiente software che coordina strumenti, memoria, file e ciclo operativo dell’agente.
Secondo Floatboat, questo cambiamento è bastato per portare lo stesso modello economico sopra i confronti pubblicati con Opus 4.8 in cinque benchmark pubblici per agenti. 3
La conclusione più utile è quindi più circoscritta: nei compiti lunghi e articolati, il sistema che circonda il modello può incidere sul successo tanto quanto, o più di, un aggiornamento del modello stesso. È un’indicazione importante, ma non definitiva: l’esperimento non è stato ancora verificato da test indipendenti.
Che cosa ha cambiato Floatboat
Floatboat afferma di aver utilizzato la release ufficiale DeepSeek-V4-Flash-0731, mantenendo invariati input e parametri, e di aver confrontato l’harness ufficiale e minimale di DeepSeek con il proprio harness di valutazione.
La configurazione di Floatboat prevedeva un sandbox fisico isolato e un ciclo operativo più persistente, con accesso allo spazio di lavoro e ai file, strumenti, stato conservato e la possibilità di controllare i risultati, correggere gli errori e proseguire il lavoro. 3
La differenza è sostanziale. Un agente non deve soltanto generare una buona risposta una volta: deve agire sull’ambiente, osservare gli effetti delle proprie azioni, aggiornare il piano e non compromettere ciò che ha già completato.
I cinque risultati dichiarati
Nel proprio harness, Floatboat riferisce questi punteggi per DeepSeek-V4-Flash:
- BrowseComp: 87,80
- DeepSWE: 67,25
- Terminal Bench 2.1: 84,26
- AutomationBench: 27,50
- Toolathlon: 79,62
L’azienda sostiene che tutti e cinque i risultati siano superiori ai confronti pubblicati per Claude Opus 4.8. 3
Il titolo, però, richiede una precisazione. I confronti pubblici tra benchmark possono riunire punteggi ottenuti con harness, prompt, configurazioni degli strumenti, parametri di campionamento e procedure di valutazione differenti.
La parte più informativa del test di Floatboat è il confronto controllato tra lo stesso modello eseguito in due harness diversi. Anche così, resta un risultato riferito dalla stessa azienda che ha sviluppato il sistema.
Il divario di prezzo: enorme, ma limitato ai token API
Il prezzo dichiarato per DeepSeek era di 0,14 dollari per milione di token in ingresso e 0,28 dollari per milione di token in uscita. Con un rapporto di 3:1 tra input e output, il costo medio combinato è:
(3 × 0,14 + 0,28) ÷ 4 = 0,175 dollari per milione di token
Per Claude Opus 4.8, Floatboat ha utilizzato i prezzi dichiarati di 5 dollari per milione di token in ingresso e 25 dollari per milione di token in uscita. Con lo stesso rapporto:
(3 × 5 + 25) ÷ 4 = 10 dollari per milione di token
Sul solo prezzo dei token API, Opus risulta quindi circa 57,1 volte più costoso. 3
Questo non significa che completare un’attività costi necessariamente 57,1 volte di più. Il calcolo non include i costi degli strumenti, dell’elaborazione, della cache, dei contesti molto lunghi, dei tentativi ripetuti, dell’ingegneria né della gestione dell’harness. È un confronto tra prezzi dei token, non un’analisi del costo totale di possesso.
Perché il vantaggio aumenta nei compiti più lunghi
Ordinando i cinque benchmark dal lavoro con orizzonte più breve a quello con orizzonte più lungo, Floatboat ha riportato vantaggi relativi dell’1,9%, 9,6%, 12,6%, 19,9% e 23,6%. Secondo l’azienda, la progressione non diminuisce: l’harness pesa meno nei compiti circoscritti e sempre di più quando aumentano i passaggi dipendenti l’uno dall’altro. 3
Un agente può fallire un’attività lunga anche se le sue singole decisioni sembrano ragionevoli. Deve riuscire a:
- trovare e modificare i file corretti;
- chiamare più volte gli strumenti e interpretarne l’output;
- conservare piani, stato e risultati intermedi;
- testare le modifiche e diagnosticare i problemi;
- recuperare dopo un’azione sbagliata;
- annullare una modifica prima che comprometta il lavoro successivo.
Un ciclo operativo fragile può trasformare un ragionamento corretto in contesto perso, chiamate non valide agli strumenti, chiusure premature o modifiche impossibili da recuperare. Un modello più potente può migliorare le decisioni locali, ma non può compensare del tutto un ambiente che non conserva lo stato, non offre feedback utile o non permette di tornare indietro in sicurezza.
È questo il punto che va oltre il singolo confronto tra modelli. La domanda non è soltanto «Qual è il modello più intelligente?», ma anche: quale combinazione di modello e runtime riesce a portare a termine il lavoro in modo affidabile?
Che cos’è l’Harness Leverage Ratio
Floatboat ha introdotto l’Harness Leverage Ratio, o HLR, per confrontare il beneficio ottenuto cambiando harness con quello derivante dall’aggiornamento del modello:
HLR = guadagno ottenuto cambiando solo l’harness
─────────────────────────────────────────
guadagno ottenuto passando al sistema di riferimento più potente
Un HLR superiore a 1 indica che, nel benchmark e nel confronto scelti, la modifica dell’harness ha prodotto un aumento del punteggio maggiore rispetto all’upgrade verso il sistema di riferimento più forte.
L’HLR non è uno standard dell’industria e il suo valore dipende dal modello di partenza, dal riferimento scelto, dalla versione del benchmark e dai controlli della valutazione. 2
4
Su DeepSWE, Floatboat ha riferito che Flash è passato da 54,4 con l’harness di DeepSeek a 67,25 con quello di Floatboat: un incremento di 12,85 punti. Il risultato citato per Opus 4.8 era 58,0, cioè 3,6 punti sopra la baseline di DeepSeek. Da qui deriva un HLR di circa 3,57. 3
Floatboat ha inoltre dichiarato che l’HLR è salito da 0,78 nel compito più breve a 3,57 in quello più lungo. Se il dato venisse replicato, sosterrebbe l’ipotesi che i miglioramenti del runtime diventino proporzionalmente più preziosi quando le attività richiedono maggiore memoria dello stato, più chiamate agli strumenti e capacità di recupero.
Non è però una legge universale: cambiando il sistema di riferimento o la configurazione della valutazione, anche il rapporto potrebbe cambiare.
Il risultato rafforza la tesi di prodotto di Floatboat
Il benchmark è coerente con il posizionamento più ampio di Floatboat. Le descrizioni pubbliche presentano il prodotto come un ambiente di lavoro nativo per agenti destinato soprattutto a operatori singoli, con file, navigazione web, interazioni con l’IA, pianificazione, comunicazioni e competenze o flussi di lavoro riutilizzabili. 1
Un annuncio di lancio del maggio 2026 descriveva inoltre l’azienda come sostenuta da Sequoia e Welight Capital e focalizzata su flussi di lavoro proattivi guidati dal calendario. 18
Questa direzione considera il runtime un livello centrale del prodotto, non una semplice interfaccia aggiunta a un modello linguistico. L’agente deve mantenere il contesto tra applicazioni, agire al momento giusto, rispettare i permessi e avanzare senza costringere l’utente a ricostruire manualmente ogni passaggio.
Cosa può cambiare per gli agenti di uso quotidiano
Se il risultato supererà test indipendenti, il vantaggio competitivo degli agenti destinati all’uso quotidiano potrebbe spostarsi verso il loro substrato operativo: gestione sicura dello stato, osservabilità, verifica, recupero dagli errori, permessi e controllo da parte dell’utente.
Questo aprirebbe anche una strategia più flessibile nella scelta dei modelli. I modelli meno costosi potrebbero occuparsi delle attività ordinarie, purché inseriti in un runtime affidabile, mentre i modelli premium verrebbero riservati ai compiti che richiedono davvero ragionamento approfondito o capacità di giudizio.
Il prodotto migliore potrebbe quindi non essere né il modello più economico né quello più potente considerato isolatamente, ma il sistema capace di assegnare ogni modello al lavoro per cui rende di più.
La cautela, tuttavia, resta fondamentale. La principale evidenza disponibile per l’esperimento del 7 agosto è il documento tecnico di Floatboat, e la stessa azienda riconosce che i confronti più ampi tra modelli utilizzano harness e configurazioni di valutazione differenti. Per trasformare i «cinque successi» in un risultato consolidato servirebbero nuove esecuzioni indipendenti, artefatti di valutazione pubblici e controlli più stretti su prompt, budget, strumenti, tentativi ripetuti e versioni dei dati. 3
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "DeepSeek-V4-Flash supera Claude Opus 4.8 in cinque benchmark: il vero vantaggio era il sistema"?
Floatboat riferisce che lo stesso modello DeepSeek V4 Flash ha superato Claude Opus 4.8 nei cinque benchmark testati dopo la sostituzione del solo harness di esecuzione; il risultato è interessante, ma non è ancora st...
What are the key points to validate first?
Floatboat riferisce che lo stesso modello DeepSeek V4 Flash ha superato Claude Opus 4.8 nei cinque benchmark testati dopo la sostituzione del solo harness di esecuzione; il risultato è interessante, ma non è ancora st... Con un rapporto di 3:1 tra token in ingresso e in uscita, il costo API combinato dichiarato era di 0,175 dollari per milione di token per DeepSeek contro 10 dollari per Opus: circa 57,1 volte in più per il modello di...
What should I do next in practice?
I vantaggi dichiarati dal nuovo harness sono cresciuti dall’1,9% sui compiti più brevi al 23,6% su quelli più lunghi, suggerendo che memoria dello stato, strumenti, verifica e recupero diventano decisivi quando un age...