Floatboat 在 2026 年 8 月 7 日公布的測試，唔應該直接解讀成「DeepSeek-V4-Flash 天生比 Claude Opus 4.8 更強」。更準確的講法係：這是一項由公司自行報告的控制實驗——模型本身維持不變，只替換執行它的 Harness。Floatboat 指，單靠這個改動，已令同一個低成本模型在五項公開 Agent benchmark 的比較中領先 Claude Opus 4.8。3

真正值得留意的結論較窄，但對實際應用更有用：處理長時間、跨多步驟的 Agent 工作時，模型周邊的執行系統，可能同模型本身一樣重要，甚至在某些情況下更加關鍵。不過，這個結論目前仍屬初步觀察，因為實驗尚未有獨立團隊重現。

Floatboat 究竟改了甚麼？

Floatboat 表示，測試使用官方 DeepSeek-V4-Flash-0731 版本，輸入及參數保持一致，然後比較 DeepSeek 的官方極簡 Harness 與 Floatboat 自己的評測 Harness。後者提供隔離的實體沙盒，以及較持久的工作循環，包括工作區及檔案存取、工具、保留狀態，並容許 Agent 檢查結果、修正錯誤，再繼續完成工作。3

這個分別相當重要。Agent 唔係只要一次過生成一個「似樣」答案就算成功；它要不停對環境採取行動、觀察結果、更新計劃，同時避免破壞之前已經完成的工作。

換句話說，Harness 就似係 Agent 的工作環境及操作流程。模型負責作判斷，但環境要負責令它可以讀檔、用工具、保留記憶、驗證修改，出錯時亦有機會回復。

五項 benchmark 的報告成績

Floatboat 在自家 Harness 中，報告 DeepSeek-V4-Flash 取得以下分數：

• BrowseComp：87.80
• DeepSWE：67.25
• Terminal Bench 2.1：84.26
• AutomationBench：27.50
• Toolathlon：79.62

公司表示，這五項成績全部高過公開資料中的 Claude Opus 4.8 比較結果。3

不過，標題所講的「五項全勝」需要加一個重要註腳。公開 benchmark 的分數，可能來自不同 Harness、提示詞、工具配置、抽樣設定及評測流程。相比之下，Floatboat 測試中較有控制力的部分，是同一個模型配上不同 Harness；這比單純將不同系統放在同一張排行榜上更有分析價值，但始終仍然是公司自行公布的結果。

價錢差距很誇張，但只代表 API token 成本

Floatboat 採用的 DeepSeek 價格是每百萬輸入 token 0.14 美元，每百萬輸出 token 0.28 美元。如果以 3:1 的輸入對輸出比例計算，混合價格是：

(3 × 0.14 + 0.28) ÷ 4 = 每百萬 token 0.175 美元

Floatboat 使用的 Claude Opus 4.8 價格則是每百萬輸入 token 5 美元、每百萬輸出 token 25 美元。按相同比例計算：

(3 × 5 + 25) ÷ 4 = 每百萬 token 10 美元

因此，以混合 API token 價格計，Opus 約為 DeepSeek 的 57.1 倍。3

但呢個唔等於完成一項任務的總成本就一定相差 57.1 倍。上述計算沒有包括工具使用費、運算資源、快取、長 context、重試次數、工程成本，以及營運 Harness 本身的成本。它只係模型 token 的價格比較，唔是完整的總擁有成本分析。

點解任務越長，Harness 優勢越明顯？

Floatboat 報告指，將五項 benchmark 按任務由短至長排列後，相對提升依次為 1.9%、9.6%、12.6%、19.9% 及 23.6%。公司認為這個序列沒有下降，即 Harness 在較受限制的短任務中影響較小，但當任務需要更多依賴步驟時，作用便越來越大。3

一個長流程 Agent 即使每一步的決定看起來都合理，最後仍然可能失敗。它往往要做到以下幾件事：

• 找到並修改正確的檔案；
• 重複呼叫工具，並理解工具回傳的結果；
• 保存計劃、工作狀態及中間產物；
• 測試修改內容，找出並診斷錯誤；
• 在採取錯誤行動後恢復進度；以及
• 在錯誤修改影響後續工作前，將它回滾。

如果執行循環設計得唔好，即使模型本身推理正確，也可能因為 context 流失、工具呼叫失敗、過早停止，或者修改無法復原而功虧一簣。更強的模型可以改善局部判斷，但無法完全補救一個不保存狀態、不提供有效回饋、又沒有安全復原機制的環境。

所以，這項測試帶出的問題，未必只是「邊個模型最聰明？」而是：「邊個模型加執行環境的組合，最有機會穩定完成真正工作？」

HLR：量度換 Harness 是否比升級模型更抵

Floatboat 提出 Harness Leverage Ratio（HLR，Harness 槓桿比），用來比較更換 Harness 與升級模型各自帶來的效益：

HLR = 只更換 Harness 帶來的分數提升
      ─────────────────────────────
      升級至較強參考系統帶來的分數提升

HLR 高於 1，即代表在指定 benchmark 及比較方法下，更換 Harness 帶來的分數增幅，大過升級至較強參考系統所量到的增幅。HLR 目前不是業界標準，其數值會受基準系統、參考模型、benchmark 版本及評測控制方式影響。24

以 DeepSWE 為例，Floatboat 報告指，DeepSeek-V4-Flash 在 DeepSeek Harness 的分數由 54.4，升至 Floatboat Harness 的 67.25，增加 12.85 分。公開比較中的 Claude Opus 4.8 分數為 58.0，即比 DeepSeek 基準高 3.6 分。按這個口徑計算，HLR 約為 3.57。3

Floatboat 亦報告，五項 benchmark 的 HLR 由最短任務的 0.78，升至最長任務的 3.57。如果日後有獨立測試得到相近結果，這個走勢會支持一個看法：當任務需要更多狀態、工具呼叫及錯誤復原，改善執行環境的價值可能會按比例放大。

但 HLR 唔應被當成放諸四海皆準的定律。只要更換參考系統、提示詞、工具、預算或評測設置，比例就可能改變。

這與 Floatboat 的產品方向有甚麼關係？

這項 benchmark 結果，正好配合 Floatboat 的產品定位。公開介紹將它描述為面向個人營運者的 Agent 原生工作環境，將檔案、瀏覽器、AI 互動、日程、通訊，以及可重用的技能或工作流程整合在一起。1 公司在 2026 年 5 月的發布公告中，亦將重點放在由日程觸發、可以主動執行工作的 Agent 流程，並表示獲 Sequoia 及 Welight Capital 支持。18

這種產品思路，將 runtime——即模型實際工作的執行層——視為核心組件，而唔係包在語言模型外面的一層薄薄介面。Agent 要跨應用程式保留上下文、在適當時間採取行動、遵守權限限制，並在不需要用戶每一步重新交代的情況下持續推進工作。

對日常 AI Agent 有甚麼啟示？

如果 Floatboat 的結果經得起獨立測試，日常使用的 Agent 競爭力，可能會由「誰擁有最新、最強模型」，逐步轉向「誰有更可靠的執行底座」。當中的關鍵包括安全的狀態管理、可觀察性、結果驗證、錯誤復原、權限控制，以及讓用戶掌握自動化程度。

這亦可能令模型策略變得更有彈性：低成本模型可以在可靠而且有清晰框架的 runtime 中處理日常工作；只有真正需要深層推理或判斷的任務，才交給較昂貴的高階模型。最理想的產品，未必是單看最平或最強的模型，而是能夠在不同工作中，將不同模型用在最適合的位置。

當然，最大前提仍然係驗證。現時有關 8 月 7 日實驗的主要證據，是 Floatboat 自己發布的技術簡報；公司亦承認，更廣泛的跨模型比較採用了不同 Harness 及評測配置。要令「五項全勝」由公司聲稱變成較穩固的業界結論，仍需要獨立重跑、公開評測產物，以及對提示詞、token 預算、工具、重試機制和資料版本作更嚴格控制。3

Floatboat 在 2026 年 8 月 7 日公布的測試，唔應該直接解讀成「DeepSeek-V4-Flash 天生比 Claude Opus 4.8 更強」。更準確的講法係：這是一項由公司自行報告的控制實驗——模型本身維持不變，只替換執行它的 Harness。Floatboat 指，單靠這個改動，已令同一個低成本模型在五項公開 Agent benchmark 的比較中領先 Claude Opus 4.8。3

真正值得留意的結論較窄，但對實際應用更有用：處理長時間、跨多步驟的 Agent 工作時，模型周邊的執行系統，可能同模型本身一樣重要，甚至在某些情況下更加關鍵。不過，這個結論目前仍屬初步觀察，因為實驗尚未有獨立團隊重現。

Floatboat 究竟改了甚麼？

Floatboat 表示，測試使用官方 DeepSeek-V4-Flash-0731 版本，輸入及參數保持一致，然後比較 DeepSeek 的官方極簡 Harness 與 Floatboat 自己的評測 Harness。後者提供隔離的實體沙盒，以及較持久的工作循環，包括工作區及檔案存取、工具、保留狀態，並容許 Agent 檢查結果、修正錯誤，再繼續完成工作。3

這個分別相當重要。Agent 唔係只要一次過生成一個「似樣」答案就算成功；它要不停對環境採取行動、觀察結果、更新計劃，同時避免破壞之前已經完成的工作。

換句話說，Harness 就似係 Agent 的工作環境及操作流程。模型負責作判斷，但環境要負責令它可以讀檔、用工具、保留記憶、驗證修改，出錯時亦有機會回復。

五項 benchmark 的報告成績

Floatboat 在自家 Harness 中，報告 DeepSeek-V4-Flash 取得以下分數：

• BrowseComp：87.80
• DeepSWE：67.25
• Terminal Bench 2.1：84.26
• AutomationBench：27.50
• Toolathlon：79.62

公司表示，這五項成績全部高過公開資料中的 Claude Opus 4.8 比較結果。3

不過，標題所講的「五項全勝」需要加一個重要註腳。公開 benchmark 的分數，可能來自不同 Harness、提示詞、工具配置、抽樣設定及評測流程。相比之下，Floatboat 測試中較有控制力的部分，是同一個模型配上不同 Harness；這比單純將不同系統放在同一張排行榜上更有分析價值，但始終仍然是公司自行公布的結果。

價錢差距很誇張，但只代表 API token 成本

Floatboat 採用的 DeepSeek 價格是每百萬輸入 token 0.14 美元，每百萬輸出 token 0.28 美元。如果以 3:1 的輸入對輸出比例計算，混合價格是：

(3 × 0.14 + 0.28) ÷ 4 = 每百萬 token 0.175 美元

Floatboat 使用的 Claude Opus 4.8 價格則是每百萬輸入 token 5 美元、每百萬輸出 token 25 美元。按相同比例計算：

(3 × 5 + 25) ÷ 4 = 每百萬 token 10 美元

因此，以混合 API token 價格計，Opus 約為 DeepSeek 的 57.1 倍。3

但呢個唔等於完成一項任務的總成本就一定相差 57.1 倍。上述計算沒有包括工具使用費、運算資源、快取、長 context、重試次數、工程成本，以及營運 Harness 本身的成本。它只係模型 token 的價格比較，唔是完整的總擁有成本分析。

點解任務越長，Harness 優勢越明顯？

Floatboat 報告指，將五項 benchmark 按任務由短至長排列後，相對提升依次為 1.9%、9.6%、12.6%、19.9% 及 23.6%。公司認為這個序列沒有下降，即 Harness 在較受限制的短任務中影響較小，但當任務需要更多依賴步驟時，作用便越來越大。3

一個長流程 Agent 即使每一步的決定看起來都合理，最後仍然可能失敗。它往往要做到以下幾件事：

• 找到並修改正確的檔案；
• 重複呼叫工具，並理解工具回傳的結果；
• 保存計劃、工作狀態及中間產物；
• 測試修改內容，找出並診斷錯誤；
• 在採取錯誤行動後恢復進度；以及
• 在錯誤修改影響後續工作前，將它回滾。

如果執行循環設計得唔好，即使模型本身推理正確，也可能因為 context 流失、工具呼叫失敗、過早停止，或者修改無法復原而功虧一簣。更強的模型可以改善局部判斷，但無法完全補救一個不保存狀態、不提供有效回饋、又沒有安全復原機制的環境。

所以，這項測試帶出的問題，未必只是「邊個模型最聰明？」而是：「邊個模型加執行環境的組合，最有機會穩定完成真正工作？」

HLR：量度換 Harness 是否比升級模型更抵

Floatboat 提出 Harness Leverage Ratio（HLR，Harness 槓桿比），用來比較更換 Harness 與升級模型各自帶來的效益：

HLR = 只更換 Harness 帶來的分數提升
      ─────────────────────────────
      升級至較強參考系統帶來的分數提升

HLR 高於 1，即代表在指定 benchmark 及比較方法下，更換 Harness 帶來的分數增幅，大過升級至較強參考系統所量到的增幅。HLR 目前不是業界標準，其數值會受基準系統、參考模型、benchmark 版本及評測控制方式影響。24

以 DeepSWE 為例，Floatboat 報告指，DeepSeek-V4-Flash 在 DeepSeek Harness 的分數由 54.4，升至 Floatboat Harness 的 67.25，增加 12.85 分。公開比較中的 Claude Opus 4.8 分數為 58.0，即比 DeepSeek 基準高 3.6 分。按這個口徑計算，HLR 約為 3.57。3

Floatboat 亦報告，五項 benchmark 的 HLR 由最短任務的 0.78，升至最長任務的 3.57。如果日後有獨立測試得到相近結果，這個走勢會支持一個看法：當任務需要更多狀態、工具呼叫及錯誤復原，改善執行環境的價值可能會按比例放大。

但 HLR 唔應被當成放諸四海皆準的定律。只要更換參考系統、提示詞、工具、預算或評測設置，比例就可能改變。

這與 Floatboat 的產品方向有甚麼關係？

這項 benchmark 結果，正好配合 Floatboat 的產品定位。公開介紹將它描述為面向個人營運者的 Agent 原生工作環境，將檔案、瀏覽器、AI 互動、日程、通訊，以及可重用的技能或工作流程整合在一起。1 公司在 2026 年 5 月的發布公告中，亦將重點放在由日程觸發、可以主動執行工作的 Agent 流程，並表示獲 Sequoia 及 Welight Capital 支持。18

這種產品思路，將 runtime——即模型實際工作的執行層——視為核心組件，而唔係包在語言模型外面的一層薄薄介面。Agent 要跨應用程式保留上下文、在適當時間採取行動、遵守權限限制，並在不需要用戶每一步重新交代的情況下持續推進工作。

對日常 AI Agent 有甚麼啟示？

如果 Floatboat 的結果經得起獨立測試，日常使用的 Agent 競爭力，可能會由「誰擁有最新、最強模型」，逐步轉向「誰有更可靠的執行底座」。當中的關鍵包括安全的狀態管理、可觀察性、結果驗證、錯誤復原、權限控制，以及讓用戶掌握自動化程度。

這亦可能令模型策略變得更有彈性：低成本模型可以在可靠而且有清晰框架的 runtime 中處理日常工作；只有真正需要深層推理或判斷的任務，才交給較昂貴的高階模型。最理想的產品，未必是單看最平或最強的模型，而是能夠在不同工作中，將不同模型用在最適合的位置。

當然，最大前提仍然係驗證。現時有關 8 月 7 日實驗的主要證據，是 Floatboat 自己發布的技術簡報；公司亦承認，更廣泛的跨模型比較採用了不同 Harness 及評測配置。要令「五項全勝」由公司聲稱變成較穩固的業界結論，仍需要獨立重跑、公開評測產物，以及對提示詞、token 預算、工具、重試機制和資料版本作更嚴格控制。3