คำตอบเผยแพร่แล้ว15 แหล่งที่มา
DeepSeek-V4-Flash แซง Claude Opus 4.8 ใน 5 เบนช์มาร์ก แต่ตัวแปรสำคัญอาจไม่ใช่โมเดล
Floatboat รายงานว่า DeepSeek V4 Flash รุ่นเดิมทำคะแนนเหนือการเปรียบเทียบกับ Claude Opus 4.8 ทั้ง 5 เบนช์มาร์ก หลังเปลี่ยนเฉพาะ execution harness แต่ผลยังไม่ได้รับการทดสอบซ้ำโดยหน่วยงานอิสระ เมื่อคำนวณด้วยสัดส่วนโทเคนขาเข้า ต่อ ขาออก 3:1 ราคาผสมที่รายงานอยู่ที่ 0.175 ดอลลาร์ต่อหนึ่งล้านโทเคนสำหรับ DeepSeek เทียบกับ 1...
เผยแพร่โดยแก้ไขด้วย GPT-5.6 Lunaรูปภาพสร้างด้วย GPT Image 1.5
คำตอบการวิจัย
ประเด็นสำคัญ
- Floatboat รายงานว่า DeepSeek V4 Flash รุ่นเดิมทำคะแนนเหนือการเปรียบเทียบกับ Claude Opus 4.8 ทั้ง 5 เบนช์มาร์ก หลังเปลี่ยนเฉพาะ execution harness แต่ผลยังไม่ได้รับการทดสอบซ้ำโดยหน่วยงานอิสระ
- เมื่อคำนวณด้วยสัดส่วนโทเคนขาเข้า ต่อ ขาออก 3:1 ราคาผสมที่รายงานอยู่ที่ 0.175 ดอลลาร์ต่อหนึ่งล้านโทเคนสำหรับ DeepSeek เทียบกับ 10 ดอลลาร์สำหรับ Opus หรือ Opus แพงกว่าประมาณ 57.1 เท่า
- การเพิ่มประสิทธิภาพของ harness ที่รายงานเพิ่มจาก 1.9% ในงานระยะสั้นเป็น 23.6% ในงานระยะยาว สะท้อนความสำคัญของการคงสถานะ เครื่องมือ การตรวจสอบ และการกู้คืนความผิดพลาด
AI พรอมต์
openai.comCreate a landscape editorial hero image for this Studio Global article: How did AOE Tech Labs’ Floatboat team’s August 7, 2026 single-variable Harness benchmark experiment show that DeepSeek-V4-Flash—the $0.14 mo. Article summary: Floatboat’s August 7 result is best understood as a vendor-reported ablation: it held the DeepSeek-V4-Flash model constant and replaced the execution harness. Its claim is not that model capability ceased to matter, but . Topic tags: general, general web, user generated, documentation. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks,
ผลการทดสอบของ Floatboat เมื่อวันที่ 7 สิงหาคม ควรอ่านในฐานะการทดลองแบบ ablation ที่บริษัทเป็นผู้รายงาน ไม่ใช่หลักฐานว่า DeepSeek-V4-Flash มีความสามารถโดยพื้นฐานเหนือ Claude Opus 4.8
สิ่งที่บริษัทอ้างคือ ใช้โมเดล DeepSeek-V4-Flash-0731 เดิม อินพุตและพารามิเตอร์เดิม แต่เปลี่ยนระบบที่ควบคุมการทำงานของเอเจนต์ หรือ execution harness จาก harness แบบมินิมัลของ DeepSeek เป็น harness ของ Floatboat ผลที่รายงานคือ โมเดลต้นทุนต่ำตัวเดิมทำคะแนนเหนือผลเปรียบเทียบของ Opus 4.8 ในเบนช์มาร์กเอเจนต์สาธารณะทั้ง 5 รายการ 3
ข้อสรุปที่ระมัดระวังและมีประโยชน์กว่าคือ สำหรับงานที่ต้องทำต่อเนื่องหลายขั้นตอน ระบบแวดล้อมรอบโมเดลอาจมีส่วนต่อความสำเร็จมากพอ ๆ กับตัวโมเดลเอง อย่างไรก็ตาม ผลนี้ยังเป็นเพียงข้อบ่งชี้ เพราะยังไม่มีการทดสอบซ้ำโดยอิสระ
Floatboat เปลี่ยนอะไร
Floatboat ระบุว่าใช้ DeepSeek-V4-Flash-0731 รุ่นทางการ พร้อมอินพุตและพารามิเตอร์ชุดเดียวกัน จากนั้นเปรียบเทียบ harness ทางการแบบมินิมัลของ DeepSeekกับ harness สำหรับการประเมินผลของบริษัทเอง
harness ของ Floatboat ใช้แซนด์บ็อกซ์กายภาพที่แยกออกจากระบบอื่น และจัดเตรียมวงจรการทำงานที่ต่อเนื่องกว่า โดยมีพื้นที่ทำงานและไฟล์ เครื่องมือ สถานะที่เก็บต่อเนื่อง รวมถึงโอกาสให้เอเจนต์ตรวจสอบผลลัพธ์ แก้ข้อผิดพลาด และทำงานต่อ 3
ความแตกต่างนี้สำคัญ เพราะเอเจนต์ไม่ได้ประสบความสำเร็จจากการสร้างคำตอบที่ดีเพียงครั้งเดียว แต่ต้องลงมือกับสภาพแวดล้อม สังเกตผลที่เกิดขึ้น ปรับแผน และรักษางานที่ทำสำเร็จแล้วไม่ให้เสียหาย
คะแนนที่ Floatboat รายงานใน 5 เบนช์มาร์ก
เมื่อทำงานผ่าน harness ของ Floatboat, DeepSeek-V4-Flash ได้คะแนนดังนี้
- BrowseComp: 87.80
- DeepSWE: 67.25
- Terminal Bench 2.1: 84.26
- AutomationBench: 27.50
- Toolathlon: 79.62
Floatboat ระบุว่าคะแนนทั้ง 5 รายการสูงกว่าผลเปรียบเทียบ Claude Opus 4.8 ที่เผยแพร่ไว้ 3
แต่พาดหัวว่า “ชนะทั้ง 5 รายการ” จำเป็นต้องมีคำอธิบายประกอบ การเปรียบเทียบสาธารณะอาจใช้ harness, พรอมป์, การตั้งค่าเครื่องมือ, วิธีสุ่มตัวอย่าง และกระบวนการประเมินที่ไม่เหมือนกัน
ส่วนที่ควบคุมได้ชัดเจนกว่าในการทดลองของ Floatboat คือการใช้โมเดลเดียวกันแล้วเปลี่ยน harness เท่านั้น ข้อมูลนี้มีความหมายมากกว่าการนำระบบที่ใช้เงื่อนไขต่างกันไปวางบนตารางอันดับเดียวกัน แต่ก็ยังคงเป็นผลที่บริษัทเป็นผู้รายงานเอง
ราคาต่างกันมาก แต่เป็นเพียงราคาโทเคน API
ราคาที่รายงานสำหรับ DeepSeek อยู่ที่ 0.14 ดอลลาร์ต่อหนึ่งล้านโทเคนขาเข้า และ 0.28 ดอลลาร์ต่อหนึ่งล้านโทเคนขาออก หากใช้อัตราส่วนอินพุต ต่อ เอาต์พุต 3:1 ราคาผสมจะเป็น
(3 × 0.14 + 0.28) ÷ 4 = 0.175 ดอลลาร์ต่อหนึ่งล้านโทเคน
ส่วนราคาที่ใช้เปรียบเทียบสำหรับ Claude Opus 4.8 คือ 5 ดอลลาร์ต่อหนึ่งล้านโทเคนขาเข้า และ 25 ดอลลาร์ต่อหนึ่งล้านโทเคนขาออก เมื่อใช้อัตราส่วนเดียวกัน
(3 × 5 + 25) ÷ 4 = 10 ดอลลาร์ต่อหนึ่งล้านโทเคน
ดังนั้น Opus มีราคาตามโทเคนแบบผสมสูงกว่าประมาณ 57.1 เท่า 3
ตัวเลขนี้ไม่ได้หมายความว่างานที่ทำเสร็จหนึ่งงานจะมีต้นทุนสูงกว่า 57.1 เท่าโดยอัตโนมัติ เพราะการคำนวณไม่ได้รวมค่าใช้เครื่องมือ คอมพิวต์ แคช ความยาวบริบท การลองใหม่ งานวิศวกรรม และต้นทุนการเดินระบบ harness เอง นี่คือการเปรียบเทียบราคาโทเคนของโมเดล ไม่ใช่การวิเคราะห์ต้นทุนรวมตลอดอายุการใช้งาน
ทำไม harness จึงเห็นผลชัดขึ้นเมื่อภารกิจยาวขึ้น
Floatboat รายงานว่าความได้เปรียบเพิ่มขึ้น 1.9%, 9.6%, 12.6%, 19.9% และ 23.6% เมื่อเรียงเบนช์มาร์กจากงานที่มีระยะดำเนินการสั้นไปยาว บริษัทนำเสนอชุดตัวเลขนี้ในลักษณะที่เพิ่มขึ้นต่อเนื่อง กล่าวคือ harness มีผลน้อยกว่าในงานที่จบได้ภายในขอบเขตจำกัด และมีผลมากขึ้นเมื่อจำนวนขั้นตอนที่ต้องพึ่งพากันเพิ่มขึ้น 3
เอเจนต์สำหรับงานระยะยาวอาจล้มเหลวได้ แม้การตัดสินใจแต่ละจุดจะดูสมเหตุสมผล เพราะต้องสามารถ
- ค้นหาและแก้ไขไฟล์ที่ถูกต้อง
- เรียกใช้เครื่องมือหลายครั้งและตีความผลลัพธ์
- รักษาแผน สถานะ และไฟล์งานระหว่างทาง
- ทดสอบการเปลี่ยนแปลงและวิเคราะห์สาเหตุของข้อผิดพลาด
- ฟื้นตัวจากการกระทำที่ผิดพลาด
- ย้อนกลับการแก้ไขก่อนที่จะทำให้งานขั้นต่อไปเสียหาย
วงจรการทำงานที่อ่อนแออาจเปลี่ยนการให้เหตุผลที่ถูกต้องให้กลายเป็นบริบทที่หายไป การเรียกเครื่องมือผิด การหยุดก่อนงานเสร็จ หรือการแก้ไขที่กู้คืนไม่ได้ โมเดลที่เก่งขึ้นช่วยให้การตัดสินใจเฉพาะหน้าดีขึ้น แต่ไม่สามารถชดเชยสภาพแวดล้อมที่ไม่เก็บสถานะ ไม่ให้ข้อมูลป้อนกลับที่เป็นประโยชน์ หรือไม่มีระบบกู้คืนที่ปลอดภัยได้ทั้งหมด
จึงอาจต้องเปลี่ยนคำถามจาก “โมเดลไหนฉลาดที่สุด” เป็น “ชุดโมเดลและรันไทม์แบบใดทำงานให้เสร็จได้อย่างน่าเชื่อถือที่สุด”
HLR คืออะไร และใช้วัดอะไร
Floatboat เสนอเมตริกชื่อ Harness Leverage Ratio (HLR) เพื่อเปรียบเทียบประโยชน์จากการเปลี่ยน harness กับประโยชน์จากการอัปเกรดโมเดล
HLR = ผลได้จากการเปลี่ยนเฉพาะ harness
───────────────────────────────
ผลได้จากการอัปเกรดเป็นระบบอ้างอิงที่แข็งแกร่งกว่า
ค่า HLR มากกว่า 1 หมายความว่า ในเบนช์มาร์กและเงื่อนไขที่เลือก การเปลี่ยน harness ทำให้คะแนนเพิ่มขึ้นมากกว่าการอัปเกรดไปยังระบบอ้างอิงที่แข็งแกร่งกว่า เมตริกนี้ยังไม่ใช่มาตรฐานอุตสาหกรรม และค่าที่ได้ขึ้นอยู่กับโมเดลฐาน โมเดลอ้างอิง เวอร์ชันเบนช์มาร์ก และการควบคุมการประเมิน 2
4
ใน DeepSWE, Floatboat รายงานว่า Flash เพิ่มจาก 54.4 เมื่อใช้ harness ของ DeepSeek เป็น 67.25 เมื่อใช้ harness ของ Floatboat หรือเพิ่มขึ้น 12.85 คะแนน ขณะที่ผล Opus 4.8 ที่นำมาอ้างคือ 58.0 ซึ่งสูงกว่าค่าฐานของ DeepSeek อยู่ 3.6 คะแนน จึงคำนวณ HLR ได้ประมาณ 3.57 3
Floatboat ยังรายงานว่า HLR เพิ่มจาก 0.78 ในงานที่สั้นที่สุดเป็น 3.57 ในงานที่ยาวที่สุด หากมีการทำซ้ำแล้วได้รูปแบบเดียวกัน ก็อาจสนับสนุนแนวคิดว่าการปรับปรุงรันไทม์มีค่ามากขึ้นแบบทวีความสำคัญ เมื่อภารกิจต้องใช้สถานะ เครื่องมือ และการกู้คืนหลายรอบ
แต่ไม่ควรตีความว่า HLR เป็นกฎสากล เพราะการเปลี่ยนระบบอ้างอิง พรอมป์ งบประมาณ เครื่องมือ จำนวนครั้งที่ลองใหม่ หรือขั้นตอนประเมิน อาจทำให้ค่าดังกล่าวเปลี่ยนไป
ผลนี้เข้ากับแนวคิดผลิตภัณฑ์ของ Floatboat อย่างไร
ข้อมูลสาธารณะอธิบาย Floatboat ว่าเป็นสภาพแวดล้อมการทำงานสำหรับเอเจนต์ที่มุ่งเน้นผู้ประกอบการรายบุคคล โดยรวมไฟล์ การท่องเว็บ การโต้ตอบกับ AI การจัดตาราง การสื่อสาร และทักษะหรือเวิร์กโฟลว์ที่นำกลับมาใช้ซ้ำได้ไว้ในพื้นที่เดียว 1
ประกาศเปิดตัวเมื่อเดือนพฤษภาคม 2026 ระบุว่า Floatboat มุ่งพัฒนาเวิร์กโฟลว์เอเจนต์เชิงรุกที่ขับเคลื่อนด้วยปฏิทิน และมี Sequoia กับ Welight Capital เป็นผู้สนับสนุน 18
แนวทางนี้มองว่ารันไทม์เป็นชั้นเทคโนโลยีหลัก ไม่ใช่เพียงส่วนครอบบาง ๆ ที่วางทับบนโมเดลภาษา เอเจนต์ต้องรักษาบริบทข้ามแอป ลงมือในเวลาที่เหมาะสม เคารพสิทธิ์การเข้าถึง และเดินหน้างานโดยไม่บังคับให้ผู้ใช้ต้องคอยปะติดปะต่อทุกขั้นตอนด้วยตนเอง
นัยต่อเอเจนต์ที่ใช้งานทุกวัน
หากผลทดสอบนี้ผ่านการตรวจสอบโดยอิสระ ข้อได้เปรียบในการแข่งขันของเอเจนต์สำหรับงานประจำวันอาจย้ายไปอยู่ที่ “โครงสร้างพื้นฐานการลงมือทำ” มากขึ้น ซึ่งรวมถึงการจัดการสถานะอย่างปลอดภัย การมองเห็นกระบวนการ การตรวจสอบผล การกู้คืน การกำหนดสิทธิ์ และการควบคุมโดยผู้ใช้
กลยุทธ์การเลือกโมเดลก็อาจยืดหยุ่นขึ้น โมเดลต้นทุนต่ำสามารถรับผิดชอบงานประจำที่มีกรอบชัดเจนภายในรันไทม์ที่เชื่อถือได้ ส่วนโมเดลระดับพรีเมียมสงวนไว้สำหรับงานที่ต้องใช้เหตุผลลึกหรือการตัดสินใจจริง ๆ ผลิตภัณฑ์ที่ดีที่สุดจึงอาจไม่ใช่โมเดลที่ถูกที่สุดหรือทรงพลังที่สุดเพียงลำพัง แต่เป็นระบบที่เลือกใช้แต่ละโมเดลในงานที่เหมาะสมที่สุด
อย่างไรก็ตาม ข้อควรระวังยังคงเป็นประเด็นหลัก หลักฐานสำคัญที่สุดของการทดลองวันที่ 7 สิงหาคมมาจากเอกสารทางเทคนิคของ Floatboat เอง และบริษัทยอมรับว่าการเปรียบเทียบข้ามโมเดลในตารางสาธารณะใช้ harness และการตั้งค่าการประเมินที่แตกต่างกัน การทดสอบซ้ำโดยอิสระ การเปิดเผยไฟล์ประเมินผล และการควบคุมพรอมป์ งบประมาณ เครื่องมือ จำนวนครั้งที่ลองใหม่ และเวอร์ชันข้อมูลให้เข้มงวดยิ่งขึ้น ยังจำเป็นก่อนที่คำกล่าวว่า “ชนะทั้ง 5 รายการ” จะกลายเป็นข้อสรุปที่ยอมรับกันในอุตสาหกรรม 3
Studio Global AI
ทำการวิจัยต่อ
หน้านี้รวมคำตอบที่ได้รับการสนับสนุนจากแหล่งที่มาซึ่งคุณสามารถดำเนินการต่อภายใน Studio Global
คนยังถาม
คำตอบสั้น ๆ สำหรับ "DeepSeek-V4-Flash แซง Claude Opus 4.8 ใน 5 เบนช์มาร์ก แต่ตัวแปรสำคัญอาจไม่ใช่โมเดล" คืออะไร
Floatboat รายงานว่า DeepSeek V4 Flash รุ่นเดิมทำคะแนนเหนือการเปรียบเทียบกับ Claude Opus 4.8 ทั้ง 5 เบนช์มาร์ก หลังเปลี่ยนเฉพาะ execution harness แต่ผลยังไม่ได้รับการทดสอบซ้ำโดยหน่วยงานอิสระ
ประเด็นสำคัญที่ต้องตรวจสอบก่อนคืออะไร?
Floatboat รายงานว่า DeepSeek V4 Flash รุ่นเดิมทำคะแนนเหนือการเปรียบเทียบกับ Claude Opus 4.8 ทั้ง 5 เบนช์มาร์ก หลังเปลี่ยนเฉพาะ execution harness แต่ผลยังไม่ได้รับการทดสอบซ้ำโดยหน่วยงานอิสระ เมื่อคำนวณด้วยสัดส่วนโทเคนขาเข้า ต่อ ขาออก 3:1 ราคาผสมที่รายงานอยู่ที่ 0.175 ดอลลาร์ต่อหนึ่งล้านโทเคนสำหรับ DeepSeek เทียบกับ 10 ดอลลาร์สำหรับ Opus หรือ Opus แพงกว่าประมาณ 57.1 เท่า
ฉันควรทำอย่างไรต่อไปในทางปฏิบัติ?
การเพิ่มประสิทธิภาพของ harness ที่รายงานเพิ่มจาก 1.9% ในงานระยะสั้นเป็น 23.6% ในงานระยะยาว สะท้อนความสำคัญของการคงสถานะ เครื่องมือ การตรวจสอบ และการกู้คืนความผิดพลาด