RespostasPublicado15 fontes
DeepSeek-V4-Flash supera Claude Opus 4.8 em cinco benchmarks — mas o grande diferencial foi o ambiente de execução
A Floatboat afirma que o mesmo DeepSeek V4 Flash superou as comparações publicadas com o Claude Opus 4.8 nos cinco benchmarks depois que apenas o ambiente de execução foi trocado; o resultado ainda não foi reproduzido... Na proporção de 3:1 entre tokens de entrada e saída, o custo combinado informado foi de US$ 0,17...
Publicado porEditado com GPT-5.6 LunaImagens geradas com GPT Image 1.5
Resposta de pesquisa
Principais conclusões
- A Floatboat afirma que o mesmo DeepSeek V4 Flash superou as comparações publicadas com o Claude Opus 4.8 nos cinco benchmarks depois que apenas o ambiente de execução foi trocado; o resultado ainda não foi reproduzido...
- Na proporção de 3:1 entre tokens de entrada e saída, o custo combinado informado foi de US$ 0,175 por milhão de tokens para o DeepSeek e US$ 10 para o Opus — cerca de 57,1 vezes mais caro para o modelo da Anthropic.
- Os ganhos relatados cresceram de 1,9% nas tarefas mais curtas para 23,6% nas mais longas, destacando a importância de estado persistente, ferramentas, verificação, autocorreção e recuperação.
- O indicador Harness Leverage Ratio (HLR) chegou a 3,57 no DeepSWE, sugerindo que a troca do ambiente gerou um ganho maior do que o upgrade para o sistema de referência com Opus 4.8 — dentro daquela configuração.
Prompt de IA
openai.comCreate a landscape editorial hero image for this Studio Global article: How did AOE Tech Labs’ Floatboat team’s August 7, 2026 single-variable Harness benchmark experiment show that DeepSeek-V4-Flash—the $0.14 mo. Article summary: Floatboat’s August 7 result is best understood as a vendor-reported ablation: it held the DeepSeek-V4-Flash model constant and replaced the execution harness. Its claim is not that model capability ceased to matter, but . Topic tags: general, general web, user generated, documentation. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks,
O resultado divulgado pela Floatboat em 7 de agosto não deve ser interpretado como prova de que o DeepSeek-V4-Flash é, por natureza, mais capaz que o Claude Opus 4.8. A leitura mais precisa é a de um experimento de ablação reportado pela própria empresa: o modelo foi mantido constante e o que mudou foi o harness, ou seja, o conjunto de software, ferramentas, memória e regras que organiza a execução do agente. A Floatboat afirma que essa alteração foi suficiente para colocar o mesmo modelo de baixo custo à frente das comparações publicadas com o Opus 4.8 em cinco benchmarks públicos de agentes. 3
A conclusão mais útil é mais específica: em tarefas longas e com várias etapas, o sistema ao redor do modelo pode contribuir tanto para o resultado quanto uma troca por um modelo mais caro. É uma hipótese relevante, mas ainda não definitiva, porque o experimento não foi replicado de forma independente.
O que mudou no teste
Segundo a Floatboat, o experimento usou a versão oficial DeepSeek-V4-Flash-0731, com as mesmas entradas e parâmetros. A comparação foi feita entre o harness minimalista oficial da DeepSeek e o harness de avaliação da Floatboat, que utilizou um sandbox físico isolado e um ciclo de execução mais persistente.
Nesse ambiente, o agente tinha acesso a arquivos e área de trabalho, ferramentas, estado retido e oportunidades para inspecionar resultados, corrigir erros e continuar a tarefa. 3
Essa diferença é importante porque um agente não precisa apenas gerar uma boa resposta. Ele precisa agir sobre um ambiente, observar o que aconteceu, atualizar o plano e evitar que uma decisão errada destrua o trabalho já realizado.
Os cinco resultados divulgados
No harness da Floatboat, o DeepSeek-V4-Flash teria obtido:
- BrowseComp: 87,80
- DeepSWE: 67,25
- Terminal Bench 2.1: 84,26
- AutomationBench: 27,50
- Toolathlon: 79,62
A empresa diz que esses resultados ficaram acima das comparações publicadas com o Claude Opus 4.8 nos cinco benchmarks. 3
O título, porém, exige uma ressalva. Comparações públicas podem reunir números produzidos com harnesses, prompts, configurações de ferramentas, parâmetros de amostragem e procedimentos de avaliação diferentes. A parte mais controlada do teste da Floatboat — manter o mesmo modelo e mudar apenas o harness — é mais informativa do que simplesmente colocar sistemas diferentes no mesmo ranking. Ainda assim, trata-se de um resultado divulgado pelo fornecedor.
A diferença de preço foi enorme — mas não representa o custo total
Os preços informados para o DeepSeek-V4-Flash foram de US$ 0,14 por milhão de tokens de entrada e US$ 0,28 por milhão de tokens de saída. Considerando uma proporção de 3:1 entre entrada e saída, o preço médio combinado fica assim:
(3 × US$ 0,14 + US$ 0,28) ÷ 4 = US$ 0,175 por milhão de tokens
Para o Claude Opus 4.8, a Floatboat usou os preços declarados de US$ 5 por milhão de tokens de entrada e US$ 25 por milhão de tokens de saída. Na mesma proporção:
(3 × US$ 5 + US$ 25) ÷ 4 = US$ 10 por milhão de tokens
Nesse recorte, o Opus fica aproximadamente 57,1 vezes mais caro que o DeepSeek em preço combinado de tokens de API. 3
Isso não significa que uma tarefa concluída custe 57,1 vezes mais. A conta não inclui tarifas de ferramentas, computação, cache, tamanho do contexto, tentativas repetidas, engenharia nem o custo de operar o próprio harness. É uma comparação de preço dos tokens do modelo, não uma análise do custo total de propriedade.
Por que a vantagem aumentou nas tarefas mais longas
A Floatboat relatou ganhos relativos de 1,9%, 9,6%, 12,6%, 19,9% e 23,6% quando os cinco benchmarks foram ordenados do menor para o maior horizonte de execução. A empresa apresenta a sequência como não decrescente: o harness teria tido menos impacto em tarefas delimitadas e mais impacto à medida que aumentava o número de etapas dependentes. 3
Um agente pode falhar em uma tarefa longa mesmo quando suas decisões individuais parecem razoáveis. Ele precisa, por exemplo:
- localizar e editar os arquivos corretos;
- chamar ferramentas repetidamente e interpretar os resultados;
- preservar planos, estado e artefatos intermediários;
- testar alterações e diagnosticar falhas;
- se recuperar de uma ação equivocada; e
- desfazer uma edição antes que ela comprometa o restante do trabalho.
Um ciclo de execução fraco pode transformar um raciocínio correto em perda de contexto, chamadas inválidas de ferramentas, encerramento prematuro ou alterações impossíveis de recuperar. Um modelo mais forte pode melhorar decisões locais, mas não consegue compensar totalmente um ambiente que não preserva estado, não oferece feedback útil ou não permite uma recuperação segura.
Por isso, o resultado vai além da pergunta “qual modelo é mais inteligente?”. A questão passa a ser: qual combinação de modelo e ambiente consegue concluir a tarefa com confiabilidade?
O que é o Harness Leverage Ratio
A Floatboat criou o Harness Leverage Ratio, ou HLR, para comparar o benefício de trocar o ambiente de execução com o benefício de trocar o modelo:
HLR = ganho obtido ao mudar apenas o harness
───────────────────────────────────────
ganho obtido ao fazer upgrade para o sistema de referência mais forte
Um HLR acima de 1 significa que, naquele benchmark e naquela comparação, a mudança do harness produziu um aumento de pontuação maior que o upgrade medido para o sistema de referência. O indicador não é um padrão da indústria, e seu valor depende da linha de base, do modelo de referência, da versão do benchmark e dos controles de avaliação adotados. 2
4
No DeepSWE, a Floatboat afirma que o Flash subiu de 54,4 no harness da DeepSeek para 67,25 no seu próprio ambiente — um aumento de 12,85 pontos. O resultado citado para o Opus 4.8 foi 58,0, uma diferença de 3,6 pontos em relação à linha de base do DeepSeek. Isso produz um HLR de aproximadamente 3,57. 3
A empresa também informou que o HLR aumentou de 0,78 na tarefa mais curta para 3,57 na mais longa. Se esse padrão for confirmado, ele reforçaria a ideia de que melhorias no ambiente de execução se tornam proporcionalmente mais valiosas quando a tarefa exige mais estado, chamadas de ferramentas e recuperação de erros. Não se trata, porém, de uma lei universal: a escolha de outro sistema de referência ou outra configuração de avaliação poderia alterar o índice.
O resultado combina com a tese de produto da Floatboat
O teste se encaixa no posicionamento mais amplo da Floatboat. Descrições públicas apresentam a empresa como um ambiente de trabalho nativo para agentes voltado a operadores individuais, reunindo arquivos, navegação na web, interações com IA, agenda, comunicação e habilidades ou fluxos de trabalho reutilizáveis. 1 Em um anúncio de lançamento de maio de 2026, a empresa afirmou estar focada em fluxos proativos acionados pelo calendário e identificou a Sequoia e a Welight Capital como investidoras.
18
Essa visão trata o ambiente de execução como uma camada central, e não como uma simples interface sobre um modelo de linguagem. O agente precisa manter contexto entre aplicativos, agir no momento certo, respeitar permissões e avançar sem exigir que o usuário reconstrua manualmente cada etapa.
O que isso pode significar para os agentes do dia a dia
Se o resultado resistir a testes independentes, a disputa por espaço nos agentes de uso cotidiano pode migrar para a infraestrutura de execução: gerenciamento seguro de estado, observabilidade, verificação, recuperação, permissões e controle pelo usuário.
Isso também permitiria uma estratégia mais flexível de modelos. Modelos baratos poderiam cuidar de tarefas rotineiras e bem estruturadas dentro de um ambiente confiável, enquanto modelos premium seriam reservados para atividades que realmente exigem raciocínio ou julgamento mais profundo. O melhor produto talvez não seja o modelo mais barato nem o mais poderoso isoladamente, mas o sistema capaz de usar cada modelo onde ele funciona melhor.
A ressalva continua sendo fundamental. O principal material técnico disponível para o experimento de 7 de agosto é o relatório da própria Floatboat, e a empresa reconhece que as comparações mais amplas entre modelos usam harnesses e configurações de avaliação diferentes. Novas execuções independentes, artefatos de avaliação publicados e controles mais rigorosos para prompts, orçamento, ferramentas, tentativas e versões dos dados ainda seriam necessários para transformar as “cinco vitórias” em um resultado consolidado do setor. 3
Studio Global AI
Continue sua pesquisa
Esta página inclui uma resposta baseada na fonte que você pode continuar em Studio Global.
As pessoas também perguntam
Qual é a resposta curta para "DeepSeek-V4-Flash supera Claude Opus 4.8 em cinco benchmarks — mas o grande diferencial foi o ambiente de execução"?
A Floatboat afirma que o mesmo DeepSeek V4 Flash superou as comparações publicadas com o Claude Opus 4.8 nos cinco benchmarks depois que apenas o ambiente de execução foi trocado; o resultado ainda não foi reproduzido...
Quais são os pontos-chave para validar primeiro?
A Floatboat afirma que o mesmo DeepSeek V4 Flash superou as comparações publicadas com o Claude Opus 4.8 nos cinco benchmarks depois que apenas o ambiente de execução foi trocado; o resultado ainda não foi reproduzido... Na proporção de 3:1 entre tokens de entrada e saída, o custo combinado informado foi de US$ 0,175 por milhão de tokens para o DeepSeek e US$ 10 para o Opus — cerca de 57,1 vezes mais caro para o modelo da Anthropic.
O que devo fazer a seguir na prática?
Os ganhos relatados cresceram de 1,9% nas tarefas mais curtas para 23,6% nas mais longas, destacando a importância de estado persistente, ferramentas, verificação, autocorreção e recuperação.