Câu trả lờiĐã xuất bản15 nguồn
DeepSeek-V4-Flash vượt Claude Opus 4.8 ở 5 bài kiểm tra: lợi thế có thể nằm ở “bộ khung” vận hành
Floatboat báo cáo rằng cùng một mô hình DeepSeek V4 Flash đã vượt các kết quả công bố của Claude Opus 4.8 ở cả 5 benchmark agent sau khi chỉ thay execution harness; tuy nhiên, tuyên bố này chưa được tái lập độc lập. Theo tỷ lệ 3:1 giữa token đầu vào và đầu ra, chi phí API quy đổi là 0,175 USD cho mỗi triệu token với...
Đăng bởiBiên tập bằng GPT-5.6 LunaHình ảnh được tạo bằng GPT Image 1.5
Câu trả lời nghiên cứu
Bài học chính
- Floatboat báo cáo rằng cùng một mô hình DeepSeek V4 Flash đã vượt các kết quả công bố của Claude Opus 4.8 ở cả 5 benchmark agent sau khi chỉ thay execution harness; tuy nhiên, tuyên bố này chưa được tái lập độc lập.
- Theo tỷ lệ 3:1 giữa token đầu vào và đầu ra, chi phí API quy đổi là 0,175 USD cho mỗi triệu token với DeepSeek, so với 10 USD với Opus — Claude đắt hơn khoảng 57,1 lần ở cấp độ token.
- Mức cải thiện được báo cáo tăng từ 1,9% ở tác vụ ngắn nhất lên 23,6% ở tác vụ dài nhất, cho thấy trạng thái, công cụ, kiểm chứng và khả năng khôi phục ngày càng quan trọng khi agent phải thực hiện nhiều bước.
Prompt AI
openai.comCreate a landscape editorial hero image for this Studio Global article: How did AOE Tech Labs’ Floatboat team’s August 7, 2026 single-variable Harness benchmark experiment show that DeepSeek-V4-Flash—the $0.14 mo. Article summary: Floatboat’s August 7 result is best understood as a vendor-reported ablation: it held the DeepSeek-V4-Flash model constant and replaced the execution harness. Its claim is not that model capability ceased to matter, but . Topic tags: general, general web, user generated, documentation. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks,
Kết quả ngày 7/8 của Floatboat không nên được đọc đơn giản là bằng chứng DeepSeek-V4-Flash vốn đã có năng lực vượt trội hơn Claude Opus 4.8. Cách hiểu chính xác hơn là một thử nghiệm tách biến do chính công ty công bố: mô hình được giữ nguyên, còn execution harness — lớp môi trường và vòng lặp giúp agent thực thi công việc — được thay thế. Floatboat cho biết chỉ riêng thay đổi này đã đưa cùng một mô hình giá rẻ vượt các kết quả so sánh công khai của Opus 4.8 trên 5 benchmark agent. 3
Kết luận đáng chú ý hơn, nhưng cũng hẹp hơn, là: với những tác vụ kéo dài, hệ thống bao quanh mô hình có thể đóng góp vào kết quả nhiều không kém bản thân mô hình. Đây vẫn là một tín hiệu gợi mở, chưa phải kết luận cuối cùng, vì thử nghiệm chưa được bên độc lập tái lập.
Floatboat đã thay đổi điều gì?
Theo Floatboat, nhóm nghiên cứu sử dụng bản phát hành chính thức DeepSeek-V4-Flash-0731, giữ nguyên đầu vào và các tham số, sau đó đối chiếu harness tối giản chính thức của DeepSeek với harness đánh giá do Floatboat xây dựng. Harness mới sử dụng một sandbox vật lý biệt lập, đồng thời cung cấp cho agent không gian làm việc và quyền truy cập tệp, công cụ, trạng thái được lưu giữ cùng cơ hội kiểm tra kết quả, sửa lỗi và tiếp tục xử lý. 3
Điểm khác biệt này rất quan trọng. Một agent không hoàn thành nhiệm vụ chỉ bằng cách tạo ra một câu trả lời tốt trong một lần. Nó phải liên tục hành động trong môi trường, quan sát kết quả, cập nhật kế hoạch và tránh làm hỏng những phần việc đã hoàn tất.
5 kết quả được Floatboat báo cáo
Trong harness của Floatboat, DeepSeek-V4-Flash được báo cáo đạt:
- BrowseComp: 87,80
- DeepSWE: 67,25
- Terminal Bench 2.1: 84,26
- AutomationBench: 27,50
- Toolathlon: 79,62
Floatboat cho biết các điểm số này đều cao hơn những kết quả Claude Opus 4.8 được công bố để đối chiếu trên cả 5 benchmark. 3
Tuy nhiên, tiêu đề “đánh bại Opus ở cả 5 bài kiểm tra” cần được đặt trong đúng bối cảnh. Các bảng so sánh công khai có thể sử dụng harness, prompt, cấu hình công cụ, chế độ lấy mẫu và quy trình đánh giá khác nhau. Phần có giá trị kiểm soát tốt hơn trong thử nghiệm của Floatboat là việc giữ nguyên mô hình rồi thay harness, thay vì đơn giản đặt các hệ thống không đồng nhất lên cùng một bảng xếp hạng. Dù vậy, đây vẫn là kết quả do một công ty tự báo cáo.
Khoảng cách chi phí rất lớn — nhưng mới chỉ tính ở cấp độ token
Mức giá được nêu cho DeepSeek là 0,14 USD trên mỗi triệu token đầu vào và 0,28 USD trên mỗi triệu token đầu ra. Với tỷ lệ 3:1 giữa đầu vào và đầu ra, chi phí trung bình là:
(3 × 0,14 + 0,28) ÷ 4 = 0,175 USD cho mỗi triệu token
Floatboat sử dụng mức giá được nêu cho Claude Opus 4.8 là 5 USD trên mỗi triệu token đầu vào và 25 USD trên mỗi triệu token đầu ra. Với cùng tỷ lệ:
(3 × 5 + 25) ÷ 4 = 10 USD cho mỗi triệu token
Như vậy, xét riêng giá token API quy đổi, Opus đắt hơn DeepSeek khoảng 57,1 lần. 3
Nhưng điều này không có nghĩa một nhiệm vụ hoàn chỉnh chạy trên Opus chắc chắn tốn gấp 57,1 lần. Phép tính chưa bao gồm phí công cụ, chi phí tính toán, bộ nhớ đệm, độ dài ngữ cảnh, số lần thử lại, chi phí kỹ thuật hay chi phí vận hành chính harness. Đây là so sánh giá token của mô hình, không phải phân tích tổng chi phí sở hữu.
Vì sao harness có lợi thế rõ hơn ở tác vụ dài?
Floatboat báo cáo mức cải thiện tương đối lần lượt là 1,9%, 9,6%, 12,6%, 19,9% và 23,6% khi 5 benchmark được sắp xếp từ tác vụ có “chân trời” ngắn đến dài. Chuỗi số liệu này không giảm: harness dường như ít tạo khác biệt hơn ở tác vụ có phạm vi giới hạn, nhưng trở nên quan trọng hơn khi số bước phụ thuộc lẫn nhau tăng lên. 3
Một agent có thể đưa ra nhiều quyết định cục bộ hợp lý nhưng vẫn thất bại ở toàn bộ nhiệm vụ nếu không thể:
- tìm và chỉnh sửa đúng tệp;
- gọi công cụ nhiều lần rồi diễn giải kết quả;
- duy trì kế hoạch, trạng thái và các sản phẩm trung gian;
- kiểm thử thay đổi, chẩn đoán lỗi và tự sửa;
- phục hồi sau một hành động sai; và
- hoàn tác chỉnh sửa trước khi nó làm hỏng các bước tiếp theo.
Một vòng lặp thực thi yếu có thể biến suy luận đúng thành mất ngữ cảnh, gọi công cụ không hợp lệ, dừng quá sớm hoặc tạo ra thay đổi không thể phục hồi. Mô hình mạnh hơn có thể giúp cải thiện từng quyết định, nhưng không thể bù đắp hoàn toàn cho một môi trường không lưu trạng thái, không cung cấp phản hồi hữu ích hoặc không có cơ chế khôi phục an toàn.
Vì thế, kết quả này gợi ra một cách đặt câu hỏi khác: thay vì chỉ hỏi “mô hình nào thông minh nhất?”, nên hỏi “tổ hợp mô hình và runtime nào có thể hoàn thành nhiệm vụ một cách đáng tin cậy?”
HLR đo lường “đòn bẩy” của harness như thế nào?
Floatboat đưa ra chỉ số Harness Leverage Ratio (HLR) để so sánh lợi ích của việc đổi harness với lợi ích của việc nâng cấp mô hình:
HLR = mức tăng điểm chỉ nhờ thay harness
─────────────────────────────────────
mức tăng điểm khi nâng cấp lên hệ thống tham chiếu mạnh hơn
HLR lớn hơn 1 có nghĩa là, trong benchmark và phép so sánh đã chọn, thay harness tạo ra mức tăng điểm lớn hơn việc chuyển từ hệ thống nền lên hệ thống tham chiếu mạnh hơn. HLR chưa phải tiêu chuẩn của ngành; giá trị của nó phụ thuộc vào mô hình nền, mô hình tham chiếu, phiên bản benchmark và cách kiểm soát đánh giá. 2
4
Ở DeepSWE, Floatboat cho biết Flash tăng từ 54,4 điểm trong harness của DeepSeek lên 67,25 điểm trong harness của Floatboat — tăng 12,85 điểm. Kết quả Opus 4.8 được trích dẫn là 58,0, cao hơn 3,6 điểm so với mốc DeepSeek ban đầu. Từ đó, HLR được tính xấp xỉ 3,57. 3
Floatboat cũng báo cáo HLR tăng từ 0,78 ở tác vụ ngắn nhất lên 3,57 ở tác vụ dài nhất. Nếu được tái lập, mô hình này sẽ ủng hộ giả thuyết rằng cải tiến runtime có giá trị tăng nhanh khi nhiệm vụ đòi hỏi nhiều trạng thái, lượt gọi công cụ và thao tác phục hồi hơn. Dẫu vậy, đây không phải quy luật phổ quát: thay đổi hệ thống tham chiếu hoặc cách đánh giá có thể làm thay đổi tỷ số.
Kết quả này phù hợp với định hướng sản phẩm của Floatboat
Các mô tả công khai định vị Floatboat là môi trường làm việc dành cho AI agent, hướng tới người vận hành độc lập, kết hợp tệp, trình duyệt, tương tác AI, lịch, liên lạc và các kỹ năng hoặc quy trình có thể tái sử dụng. 1 Trong thông báo ra mắt tháng 5/2026, công ty cho biết họ tập trung vào các workflow agent chủ động, được kích hoạt theo lịch, đồng thời nêu Sequoia và Welight Capital là các nhà đầu tư hậu thuẫn.
18
Định hướng này xem runtime là một lớp cốt lõi, thay vì chỉ là giao diện mỏng đặt phía trên mô hình ngôn ngữ. Agent cần duy trì ngữ cảnh giữa nhiều ứng dụng, hành động đúng thời điểm, tuân thủ quyền hạn và tiếp tục tạo tiến độ mà không buộc người dùng phải tự tay ghép lại từng bước.
Tương lai của các agent dùng hằng ngày có thể nằm ở lớp thực thi
Nếu kết quả trên vượt qua các phép kiểm chứng độc lập, lợi thế cạnh tranh của agent phục vụ công việc thường ngày có thể chuyển dần sang execution substrate — lớp nền thực thi gồm quản lý trạng thái an toàn, khả năng quan sát, kiểm chứng, phục hồi, phân quyền và quyền kiểm soát của người dùng.
Điều này cũng mở ra chiến lược sử dụng mô hình linh hoạt hơn. Các mô hình giá rẻ có thể xử lý công việc lặp lại, được scaffold tốt trong một runtime đáng tin cậy, trong khi mô hình cao cấp được dành cho những nhiệm vụ thực sự cần suy luận sâu hoặc phán đoán tinh tế. Sản phẩm tốt nhất vì thế có thể không phải là mô hình rẻ nhất hay mạnh nhất khi đứng riêng lẻ, mà là hệ thống biết dùng từng mô hình đúng nơi chúng phát huy hiệu quả.
Tuy nhiên, cần giữ nguyên điều kiện quan trọng nhất: bằng chứng mạnh nhất cho thử nghiệm ngày 7/8 hiện vẫn là bản tóm lược kỹ thuật do Floatboat công bố. Chính công ty cũng thừa nhận các so sánh mô hình rộng hơn sử dụng harness và cấu hình đánh giá khác nhau. Cần có các lần chạy độc lập, artifact đánh giá được công khai và kiểm soát chặt hơn về prompt, ngân sách, công cụ, số lần thử lại và phiên bản dữ liệu trước khi tuyên bố “thắng cả 5” có thể được xem là kết quả đã được xác lập của ngành. 3
Studio Global AI
Tiếp tục nghiên cứu của bạn
Trang này bao gồm câu trả lời dựa trên nguồn mà bạn có thể tiếp tục bên trong Studio Global.
Người ta cũng hỏi
Câu trả lời ngắn gọn cho "DeepSeek-V4-Flash vượt Claude Opus 4.8 ở 5 bài kiểm tra: lợi thế có thể nằm ở “bộ khung” vận hành" là gì?
Floatboat báo cáo rằng cùng một mô hình DeepSeek V4 Flash đã vượt các kết quả công bố của Claude Opus 4.8 ở cả 5 benchmark agent sau khi chỉ thay execution harness; tuy nhiên, tuyên bố này chưa được tái lập độc lập.
Những điểm chính cần xác nhận đầu tiên là gì?
Floatboat báo cáo rằng cùng một mô hình DeepSeek V4 Flash đã vượt các kết quả công bố của Claude Opus 4.8 ở cả 5 benchmark agent sau khi chỉ thay execution harness; tuy nhiên, tuyên bố này chưa được tái lập độc lập. Theo tỷ lệ 3:1 giữa token đầu vào và đầu ra, chi phí API quy đổi là 0,175 USD cho mỗi triệu token với DeepSeek, so với 10 USD với Opus — Claude đắt hơn khoảng 57,1 lần ở cấp độ token.
Tôi nên làm gì tiếp theo trong thực tế?
Mức cải thiện được báo cáo tăng từ 1,9% ở tác vụ ngắn nhất lên 23,6% ở tác vụ dài nhất, cho thấy trạng thái, công cụ, kiểm chứng và khả năng khôi phục ngày càng quan trọng khi agent phải thực hiện nhiều bước.