คำตอบเผยแพร่แล้ว15 แหล่งที่มา
HarnessPro คืออะไร? กรอบการปรับ AI Agent ให้สมดุลระหว่างความเก่งกับค่าใช้จ่าย
HarnessPro ปรับคำสั่ง เครื่องมือ และนโยบายระหว่างทำงานของ AI Agent แบบเป็นรอบ ๆ โดยใช้รูปแบบความล้มเหลวและต้นทุนจากร่องรอยการทำงานมาช่วยหาแนวทางแก้ไข [3][11] ระบบเก็บตัวเลือกสามระดับ ได้แก่ Lite สำหรับต้นทุนต่ำ, Medium สำหรับความสมดุล และ Heavy สำหรับเน้นประสิทธิภาพ แทนการมองว่ามีการตั้งค่าแบบเดียวที่ดีที่สุดสำหรับท...
เผยแพร่โดยแก้ไขด้วย GPT-6 Lunaรูปภาพสร้างด้วย GPT Image 2
คำตอบการวิจัย
ประเด็นสำคัญ
- HarnessPro ปรับคำสั่ง เครื่องมือ และนโยบายระหว่างทำงานของ AI Agent แบบเป็นรอบ ๆ โดยใช้รูปแบบความล้มเหลวและต้นทุนจากร่องรอยการทำงานมาช่วยหาแนวทางแก้ไข [3][11]
- ระบบเก็บตัวเลือกสามระดับ ได้แก่ Lite สำหรับต้นทุนต่ำ, Medium สำหรับความสมดุล และ Heavy สำหรับเน้นประสิทธิภาพ แทนการมองว่ามีการตั้งค่าแบบเดียวที่ดีที่สุดสำหรับทุกงาน [11]
- ผลที่รายงานจากการทดสอบ GPT 5.5 ร่วมกับ Codex บน Terminal Bench 2 ระบุว่าโหมด Heavy ทำคะแนนผ่าน 80.8% ที่ต้นทุน 0.72 ดอลลาร์ต่องาน เทียบกับ RHO ที่ 76.3% และ 1.09 ดอลลาร์ต่องาน [16]
AI พรอมต์
openai.comCreate a landscape editorial hero image for this Studio Global article: What is HarnessPro, released by researchers from Tsinghua University, Zhipu, Shanghai Jiao Tong University, the University of Warwick and Ku. Article summary: HarnessPro is a self-supervised framework for recursively improving an AI agent’s **harness**—the instructions, tools and runtime policies around it—while optimizing both task success and execution cost.[2][16] Its disti. Topic tags: general, academic, general web. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fake num
HarnessPro เป็นกรอบที่ช่วยปรับ harness หรือชุดคำสั่ง เครื่องมือ และนโยบายการทำงานที่กำกับ AI Agent เป้าหมายคือทำให้ Agent ทำงานได้ดีขึ้นโดยคำนึงถึงต้นทุนไปพร้อมกัน ไม่ใช่เปลี่ยนน้ำหนักของโมเดลโดยตรง 3
11
Harness คืออะไร และทำไมจึงสำคัญ
เวลาใช้งาน AI Agent ผลลัพธ์ไม่ได้ขึ้นอยู่กับตัวโมเดลอย่างเดียว แต่ยังขึ้นกับวิธีบอกงาน เครื่องมือที่เปิดให้ใช้ และกติกาที่ควบคุมการทำงานด้วย องค์ประกอบเหล่านี้รวมกันเรียกว่า harness และอาจส่งผลทั้งต่อโอกาสทำงานสำเร็จและค่าใช้จ่ายในการรัน 11
HarnessPro ปรับการทำงานอย่างไร
ระบบเริ่มจากวิเคราะห์ร่องรอยการทำงานของ Agent เพื่อหาแบบแผนของข้อผิดพลาดและต้นทุน จากนั้นจึงสร้างตัวเลือกการปรับ harness แล้วประเมินด้วยชุดทดสอบสังเคราะห์ แทนการอาศัยเฉลยจริงหรือชุดทดสอบทางการระหว่างขั้นตอนการปรับแต่ง ตามข้อมูลใน README ของโครงการ 11
กระบวนการนี้ทำซ้ำได้: ตัวเลือกที่ผ่านการประเมินสามารถนำไปปรับต่อในรอบถัดไปได้ จึงเป็นการพัฒนาวิธีทำงานรอบตัว Agent อย่างต่อเนื่อง ไม่ใช่การฝึกเปลี่ยนพารามิเตอร์ของโมเดล 3
11
ทำไมจึงมีทั้ง Lite, Medium และ Heavy
ต้นทุนต่ำอาจสำคัญที่สุดสำหรับบางงาน ขณะที่งานอื่นอาจต้องการความสามารถในการทำงานให้สำเร็จมากกว่า HarnessPro จึงใช้การคัดเลือกแบบ Pareto เพื่อเก็บจุดสมดุลไว้สามแบบ ได้แก่ Lite ที่เน้นต้นทุนต่ำ, Medium ที่เน้นความสมดุล และ Heavy ที่เน้นประสิทธิภาพสูงกว่า 11
แนวทางนี้ทำให้ทีมเลือกการตั้งค่าให้เหมาะกับเป้าหมายการใช้งานได้ แทนที่จะถือว่าตัวเลือกที่ได้คะแนนสูงที่สุดจะเหมาะกับทุกสถานการณ์ 11
ผลทดสอบที่มีการรายงาน
หน้าผลลัพธ์ของโครงการระบุว่า เมื่อใช้ GPT-5.5 ร่วมกับ Codex บน Terminal-Bench 2 โหมด Heavy ทำคะแนนผ่านได้ 80.8% ที่ต้นทุน 0.72 ดอลลาร์ต่องาน ส่วน RHO ทำได้ 76.3% ที่ 1.09 ดอลลาร์ต่องาน 16 อีกสองบทสรุปงานวิจัยรายงานว่า ในชุดการประเมินที่กล่าวถึง HarnessPro มีอัตราผ่านเฉลี่ยเพิ่มขึ้น 2.0 จุดเปอร์เซ็นต์ และลดต้นทุนเฉลี่ยต่องานลง 26.1% เมื่อเทียบกับ RHO
7
20
ตัวเลขเหล่านี้เป็นผลจากการจับคู่โมเดล, harness และเกณฑ์ทดสอบเฉพาะ จึงไม่ควรตีความว่า HarnessPro จะให้ผลลัพธ์เท่ากันในทุกงานหรือทุกการใช้งานจริง การมีหลายโหมดให้เลือกสะท้อนว่าประสิทธิภาพและต้นทุนอาจต้องแลกกัน 11
16
Studio Global AI
ทำการวิจัยต่อ
หน้านี้รวมคำตอบที่ได้รับการสนับสนุนจากแหล่งที่มาซึ่งคุณสามารถดำเนินการต่อภายใน Studio Global
คนยังถาม
คำตอบสั้น ๆ สำหรับ "HarnessPro คืออะไร? กรอบการปรับ AI Agent ให้สมดุลระหว่างความเก่งกับค่าใช้จ่าย" คืออะไร
HarnessPro ปรับคำสั่ง เครื่องมือ และนโยบายระหว่างทำงานของ AI Agent แบบเป็นรอบ ๆ โดยใช้รูปแบบความล้มเหลวและต้นทุนจากร่องรอยการทำงานมาช่วยหาแนวทางแก้ไข [3][11]
ประเด็นสำคัญที่ต้องตรวจสอบก่อนคืออะไร?
HarnessPro ปรับคำสั่ง เครื่องมือ และนโยบายระหว่างทำงานของ AI Agent แบบเป็นรอบ ๆ โดยใช้รูปแบบความล้มเหลวและต้นทุนจากร่องรอยการทำงานมาช่วยหาแนวทางแก้ไข [3][11] ระบบเก็บตัวเลือกสามระดับ ได้แก่ Lite สำหรับต้นทุนต่ำ, Medium สำหรับความสมดุล และ Heavy สำหรับเน้นประสิทธิภาพ แทนการมองว่ามีการตั้งค่าแบบเดียวที่ดีที่สุดสำหรับทุกงาน [11]
ฉันควรทำอย่างไรต่อไปในทางปฏิบัติ?
ผลที่รายงานจากการทดสอบ GPT 5.5 ร่วมกับ Codex บน Terminal Bench 2 ระบุว่าโหมด Heavy ทำคะแนนผ่าน 80.8% ที่ต้นทุน 0.72 ดอลลาร์ต่องาน เทียบกับ RHO ที่ 76.3% และ 1.09 ดอลลาร์ต่องาน [16]