Floatboat 报告称,同一个 DeepSeek V4 Flash 仅更换执行 Harness 后,在 BrowseComp、DeepSWE、Terminal Bench 2.1、AutomationBench 和 Toolathlon 五项基准中都超过了公开的 Claude Opus 4.8 对比成绩;但结果尚未经过独立复现。[3] 按 3:1 的输入输出 Token 比例计算,DeepSeek 的混合 API 价格为每百万 Token 0.175 美元,Opus 4.8 为 10 美元,后者约贵 57.1 倍。[3] Floatboat 报告的相对收益从短任务的 1.9% 逐步升至长任务的 23.6%,显示文件访问、工...
发布者使用 GPT-5.6 Luna 编辑图片由 GPT Image 1.5 生成
研究答案

Create a landscape editorial hero image for this Studio Global article: How did AOE Tech Labs’ Floatboat team’s August 7, 2026 single-variable Harness benchmark experiment show that DeepSeek-V4-Flash—the $0.14 mo. Article summary: Floatboat’s August 7 result is best understood as a vendor-reported ablation: it held the DeepSeek-V4-Flash model constant and replaced the execution harness. Its claim is not that model capability ceased to matter, but . Topic tags: general, general web, user generated, documentation. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks,
Floatboat 在 2026 年 8 月 7 日发布的结果,不宜简单解读为“DeepSeek-V4-Flash 的内在能力超过了 Claude Opus 4.8”。更准确的说法是:这是一项由厂商报告的消融实验——模型本身保持不变,只替换了执行 Harness(运行 Agent 的工具、环境和反馈循环)。Floatboat 称,仅凭这一变化,同一个低成本模型就在五项公开 Agent 基准测试中超过了 Claude Opus 4.8 的公开对比成绩。3
这项实验真正提出的,更是一个范围较窄、但对 Agent 产品很重要的问题:在需要持续行动的任务中,模型之外的运行系统,可能与模型本身同样关键,甚至在某些场景下更关键。需要强调的是,这一结论目前仍是有启发性的工程观察,而不是已经定论的行业事实,因为实验尚未获得独立复现。
Floatboat 表示,它使用的是官方发布的 DeepSeek-V4-Flash-0731,并保持输入和参数不变,然后将 DeepSeek 的官方极简 Harness 与自家的评测 Harness 进行对比。后者提供了隔离的物理沙箱,以及更持久的执行循环:包括工作区和文件访问、工具、保留状态,以及查看结果、纠正错误和继续执行的机会。3
这一区别很关键。Agent 并不是只生成一次答案就算完成任务。它需要不断对环境采取行动,观察行动结果,更新计划,并避免破坏已经完成的工作。
换句话说,模型负责“想什么、怎么做”,而 Harness 决定了它能否稳定地“做下去”。
在 Floatboat 的 Harness 中,DeepSeek-V4-Flash 的报告成绩如下:
Floatboat 称,这五项成绩都超过了公开的 Claude Opus 4.8 对比结果。3
不过,“五项全胜”这个标题仍然需要加上限定条件。公开基准的横向比较,可能使用了不同的 Harness、提示词、工具配置、采样设置和评测流程。相比之下,Floatboat 实验中更有价值的受控部分,是在同一个模型不变的前提下更换 Harness;但这依旧是公司自行报告的结果,不能等同于独立机构的统一测试。
Floatboat 报告的 DeepSeek 价格为:输入每百万 Token 0.14 美元,输出每百万 Token 0.28 美元。按照 3:1 的输入输出比例计算,混合价格为:
(3 × 0.14 + 0.28) ÷ 4 = 0.175 美元/百万 Token
Floatboat 采用的 Claude Opus 4.8 价格为:输入每百万 Token 5 美元,输出每百万 Token 25 美元。同样按照 3:1 比例计算:
(3 × 5 + 25) ÷ 4 = 10 美元/百万 Token
因此,按这种混合 API Token 价格口径,Opus 4.8 约为 DeepSeek 的 57.1 倍。3
但这并不意味着完成同一项任务的总成本也一定相差 57.1 倍。上述计算没有计入工具调用费用、计算资源、缓存、上下文长度、重试次数、工程维护,以及运行 Harness 本身的成本。它只是模型 Token 价格比较,不是完整的总拥有成本分析。
Floatboat 报告称,按五项基准从短任务到长任务排列,相对收益依次为 1.9%、9.6%、12.6%、19.9% 和 23.6%。这一序列呈非递减趋势:任务越受限、步骤越少,Harness 的影响越小;任务越长、依赖步骤越多,运行环境的影响越大。3
长链路 Agent 即使每一步看起来都做得合理,也可能在整体任务上失败。它通常需要:
如果执行循环设计得很弱,模型原本正确的推理也可能因为上下文丢失、工具调用无效、过早结束,或无法恢复的文件修改而失效。更强的模型可以改善局部决策,但无法弥补一个不能保存状态、不能提供有效反馈、也没有安全恢复机制的环境。
因此,这项结果的关注点不应只是“哪个模型更聪明”,而应转向另一个更适合实际产品的问题:哪个模型与运行时组合,能够可靠地把任务做完?
Floatboat 提出了 Harness Leverage Ratio(HLR,Harness 杠杆率),用来比较更换 Harness 与升级模型分别带来的收益:
HLR = 仅更换 Harness 带来的分数提升
÷
升级到更强参考系统带来的分数提升
当 HLR 大于 1 时,意味着在选定的基准和比较口径下,仅更换 Harness 带来的成绩增幅,大于升级到更强参考系统带来的增幅。HLR 目前不是行业标准,其数值会受到基线系统、参考模型、基准版本和评测控制方式的影响。2
4
以 DeepSWE 为例,Floatboat 报告称,DeepSeek-V4-Flash 在 DeepSeek 官方 Harness 中的成绩为 54.4,换到 Floatboat Harness 后升至 67.25,提升 12.85 分。公开的 Opus 4.8 成绩为 58.0,比 DeepSeek 基线高 3.6 分,由此得到约 3.57 的 HLR。3
Floatboat 还报告称,HLR 从最短任务的 0.78 升至最长任务的 3.57。如果未来能够复现,这种趋势将支持一个判断:当任务需要更多状态管理、工具调用和错误恢复时,改进运行时的价值可能会快速上升。
但 HLR 不能被视为普遍规律。更换参考系统,或改变提示词、预算、工具、重试策略、采样设置和数据版本,都可能改变最终比例。
这组结果与 Floatboat 的产品定位是一致的。公开资料将其描述为面向个人运营者的 Agent 原生工作环境,整合文件、浏览器、AI 交互、日程、通信和可复用的技能或工作流。1 2026 年 5 月的一则发布公告则称,该公司的方向是让 Agent 根据日历主动执行工作流,并披露 Sequoia 和 Welight Capital 为其支持方。
18
这种产品思路并不把运行时当成语言模型外面的一层薄薄封装,而是将其视为核心基础设施。Agent 需要跨应用维持上下文,在正确的时间采取行动,遵守权限边界,并在用户不必每一步手动重建背景的情况下持续推进任务。
如果 Floatboat 的结果经受住独立测试,日常 Agent 的竞争优势可能会更多转向执行底座,包括安全的状态管理、可观测性、结果验证、错误恢复、权限控制和用户自主权。
这也可能带来更灵活的模型组合策略:低成本模型负责可靠运行时中的常规、结构化工作;只有在确实需要深度推理或判断力时,才调用更昂贵的高级模型。最终最有竞争力的产品,可能既不是单纯最便宜的模型,也不是孤立能力最强的模型,而是能在不同任务中把不同模型用在合适位置的系统。
不过,核心疑问仍然存在。关于这次 8 月 7 日实验,最重要的证据来自 Floatboat 自己发布的技术简报;公司也承认,跨模型的公开比较使用了不同的 Harness 和评测配置。要让“五项全胜”成为被广泛接受的行业结果,还需要独立重跑、公开评测产物,并严格控制提示词、Token 预算、工具、重试机制和数据版本。3
Studio Global AI
此页面包含一个有来源支持的答案,您可以在 Studio Global 内继续。
Floatboat 报告称,同一个 DeepSeek V4 Flash 仅更换执行 Harness 后,在 BrowseComp、DeepSWE、Terminal Bench 2.1、AutomationBench 和 Toolathlon 五项基准中都超过了公开的 Claude Opus 4.8 对比成绩;但结果尚未经过独立复现。[3]
Floatboat 报告称,同一个 DeepSeek V4 Flash 仅更换执行 Harness 后,在 BrowseComp、DeepSWE、Terminal Bench 2.1、AutomationBench 和 Toolathlon 五项基准中都超过了公开的 Claude Opus 4.8 对比成绩;但结果尚未经过独立复现。[3] 按 3:1 的输入输出 Token 比例计算,DeepSeek 的混合 API 价格为每百万 Token 0.175 美元,Opus 4.8 为 10 美元,后者约贵 57.1 倍。[3]
Floatboat 报告的相对收益从短任务的 1.9% 逐步升至长任务的 23.6%,显示文件访问、工具调用、状态持久化、验证和错误恢复在长链路 Agent 任务中越来越重要。[3]
Floatboat 报告称,同一个 DeepSeek V4 Flash 仅更换执行 Harness 后,在 BrowseComp、DeepSWE、Terminal Bench 2.1、AutomationBench 和 Toolathlon 五项基准中都超过了公开的 Claude Opus 4.8 对比成绩;但结果尚未经过独立复现。[3] 按 3:1 的输入输出 Token 比例计算,DeepSeek 的混合 API 价格为每百万 Token 0.175 美元,Opus 4.8 为 10 美元,后者约贵 57.1 倍。[3] Floatboat 报告的相对收益从短任务的 1.9% 逐步升至长任务的 23.6%,显示文件访问、工...
发布者使用 GPT-5.6 Luna 编辑图片由 GPT Image 1.5 生成
研究答案

Create a landscape editorial hero image for this Studio Global article: How did AOE Tech Labs’ Floatboat team’s August 7, 2026 single-variable Harness benchmark experiment show that DeepSeek-V4-Flash—the $0.14 mo. Article summary: Floatboat’s August 7 result is best understood as a vendor-reported ablation: it held the DeepSeek-V4-Flash model constant and replaced the execution harness. Its claim is not that model capability ceased to matter, but . Topic tags: general, general web, user generated, documentation. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks,
Floatboat 在 2026 年 8 月 7 日发布的结果,不宜简单解读为“DeepSeek-V4-Flash 的内在能力超过了 Claude Opus 4.8”。更准确的说法是:这是一项由厂商报告的消融实验——模型本身保持不变,只替换了执行 Harness(运行 Agent 的工具、环境和反馈循环)。Floatboat 称,仅凭这一变化,同一个低成本模型就在五项公开 Agent 基准测试中超过了 Claude Opus 4.8 的公开对比成绩。3
这项实验真正提出的,更是一个范围较窄、但对 Agent 产品很重要的问题:在需要持续行动的任务中,模型之外的运行系统,可能与模型本身同样关键,甚至在某些场景下更关键。需要强调的是,这一结论目前仍是有启发性的工程观察,而不是已经定论的行业事实,因为实验尚未获得独立复现。
Floatboat 表示,它使用的是官方发布的 DeepSeek-V4-Flash-0731,并保持输入和参数不变,然后将 DeepSeek 的官方极简 Harness 与自家的评测 Harness 进行对比。后者提供了隔离的物理沙箱,以及更持久的执行循环:包括工作区和文件访问、工具、保留状态,以及查看结果、纠正错误和继续执行的机会。3
这一区别很关键。Agent 并不是只生成一次答案就算完成任务。它需要不断对环境采取行动,观察行动结果,更新计划,并避免破坏已经完成的工作。
换句话说,模型负责“想什么、怎么做”,而 Harness 决定了它能否稳定地“做下去”。
在 Floatboat 的 Harness 中,DeepSeek-V4-Flash 的报告成绩如下:
Floatboat 称,这五项成绩都超过了公开的 Claude Opus 4.8 对比结果。3
不过,“五项全胜”这个标题仍然需要加上限定条件。公开基准的横向比较,可能使用了不同的 Harness、提示词、工具配置、采样设置和评测流程。相比之下,Floatboat 实验中更有价值的受控部分,是在同一个模型不变的前提下更换 Harness;但这依旧是公司自行报告的结果,不能等同于独立机构的统一测试。
Floatboat 报告的 DeepSeek 价格为:输入每百万 Token 0.14 美元,输出每百万 Token 0.28 美元。按照 3:1 的输入输出比例计算,混合价格为:
(3 × 0.14 + 0.28) ÷ 4 = 0.175 美元/百万 Token
Floatboat 采用的 Claude Opus 4.8 价格为:输入每百万 Token 5 美元,输出每百万 Token 25 美元。同样按照 3:1 比例计算:
(3 × 5 + 25) ÷ 4 = 10 美元/百万 Token
因此,按这种混合 API Token 价格口径,Opus 4.8 约为 DeepSeek 的 57.1 倍。3
但这并不意味着完成同一项任务的总成本也一定相差 57.1 倍。上述计算没有计入工具调用费用、计算资源、缓存、上下文长度、重试次数、工程维护,以及运行 Harness 本身的成本。它只是模型 Token 价格比较,不是完整的总拥有成本分析。
Floatboat 报告称,按五项基准从短任务到长任务排列,相对收益依次为 1.9%、9.6%、12.6%、19.9% 和 23.6%。这一序列呈非递减趋势:任务越受限、步骤越少,Harness 的影响越小;任务越长、依赖步骤越多,运行环境的影响越大。3
长链路 Agent 即使每一步看起来都做得合理,也可能在整体任务上失败。它通常需要:
如果执行循环设计得很弱,模型原本正确的推理也可能因为上下文丢失、工具调用无效、过早结束,或无法恢复的文件修改而失效。更强的模型可以改善局部决策,但无法弥补一个不能保存状态、不能提供有效反馈、也没有安全恢复机制的环境。
因此,这项结果的关注点不应只是“哪个模型更聪明”,而应转向另一个更适合实际产品的问题:哪个模型与运行时组合,能够可靠地把任务做完?
Floatboat 提出了 Harness Leverage Ratio(HLR,Harness 杠杆率),用来比较更换 Harness 与升级模型分别带来的收益:
HLR = 仅更换 Harness 带来的分数提升
÷
升级到更强参考系统带来的分数提升
当 HLR 大于 1 时,意味着在选定的基准和比较口径下,仅更换 Harness 带来的成绩增幅,大于升级到更强参考系统带来的增幅。HLR 目前不是行业标准,其数值会受到基线系统、参考模型、基准版本和评测控制方式的影响。2
4
以 DeepSWE 为例,Floatboat 报告称,DeepSeek-V4-Flash 在 DeepSeek 官方 Harness 中的成绩为 54.4,换到 Floatboat Harness 后升至 67.25,提升 12.85 分。公开的 Opus 4.8 成绩为 58.0,比 DeepSeek 基线高 3.6 分,由此得到约 3.57 的 HLR。3
Floatboat 还报告称,HLR 从最短任务的 0.78 升至最长任务的 3.57。如果未来能够复现,这种趋势将支持一个判断:当任务需要更多状态管理、工具调用和错误恢复时,改进运行时的价值可能会快速上升。
但 HLR 不能被视为普遍规律。更换参考系统,或改变提示词、预算、工具、重试策略、采样设置和数据版本,都可能改变最终比例。
这组结果与 Floatboat 的产品定位是一致的。公开资料将其描述为面向个人运营者的 Agent 原生工作环境,整合文件、浏览器、AI 交互、日程、通信和可复用的技能或工作流。1 2026 年 5 月的一则发布公告则称,该公司的方向是让 Agent 根据日历主动执行工作流,并披露 Sequoia 和 Welight Capital 为其支持方。
18
这种产品思路并不把运行时当成语言模型外面的一层薄薄封装,而是将其视为核心基础设施。Agent 需要跨应用维持上下文,在正确的时间采取行动,遵守权限边界,并在用户不必每一步手动重建背景的情况下持续推进任务。
如果 Floatboat 的结果经受住独立测试,日常 Agent 的竞争优势可能会更多转向执行底座,包括安全的状态管理、可观测性、结果验证、错误恢复、权限控制和用户自主权。
这也可能带来更灵活的模型组合策略:低成本模型负责可靠运行时中的常规、结构化工作;只有在确实需要深度推理或判断力时,才调用更昂贵的高级模型。最终最有竞争力的产品,可能既不是单纯最便宜的模型,也不是孤立能力最强的模型,而是能在不同任务中把不同模型用在合适位置的系统。
不过,核心疑问仍然存在。关于这次 8 月 7 日实验,最重要的证据来自 Floatboat 自己发布的技术简报;公司也承认,跨模型的公开比较使用了不同的 Harness 和评测配置。要让“五项全胜”成为被广泛接受的行业结果,还需要独立重跑、公开评测产物,并严格控制提示词、Token 预算、工具、重试机制和数据版本。3
Studio Global AI
此页面包含一个有来源支持的答案,您可以在 Studio Global 内继续。
Floatboat 报告称,同一个 DeepSeek V4 Flash 仅更换执行 Harness 后,在 BrowseComp、DeepSWE、Terminal Bench 2.1、AutomationBench 和 Toolathlon 五项基准中都超过了公开的 Claude Opus 4.8 对比成绩;但结果尚未经过独立复现。[3]
Floatboat 报告称,同一个 DeepSeek V4 Flash 仅更换执行 Harness 后,在 BrowseComp、DeepSWE、Terminal Bench 2.1、AutomationBench 和 Toolathlon 五项基准中都超过了公开的 Claude Opus 4.8 对比成绩;但结果尚未经过独立复现。[3] 按 3:1 的输入输出 Token 比例计算,DeepSeek 的混合 API 价格为每百万 Token 0.175 美元,Opus 4.8 为 10 美元,后者约贵 57.1 倍。[3]
Floatboat 报告的相对收益从短任务的 1.9% 逐步升至长任务的 23.6%,显示文件访问、工具调用、状态持久化、验证和错误恢复在长链路 Agent 任务中越来越重要。[3]