NVIDIA ใช้ AVO ช่วย Claude Opus 5 ทำคะแนน ARC-AGI-3 ได้เต็ม 100%

NVIDIA ระบุว่า Agentic Variation Operators หรือ AVO ทำคะแนนได้เต็ม 100.00 RHAE บนชุดข้อมูลสาธารณะของการทดสอบเชิงโต้ตอบ ARC-AGI-3 โดยระบบที่ใช้ Claude Opus 5 สามารถผ่านครบทั้ง 183 ด่านใน 25 สภาพแวดล้อม ด้วยการทำงานทั้งหมด 6,624 แอ็กชัน

จุดที่น่าสนใจจึงไม่ใช่การที่โมเดลพื้นฐานรุ่นใหม่เพียงตัวเดียวแก้โจทย์ได้ทั้งหมด แต่คือการที่สถาปัตยกรรมเอเจนต์ซึ่งเดิมพัฒนามาสำหรับงานวิศวกรรมซอฟต์แวร์และการปรับแต่ง GPU kernel สามารถถ่ายโอนแนวทางการทำงานไปสู่โจทย์การใช้เหตุผลแบบโต้ตอบที่แตกต่างกันอย่างมากได้

สรุปสั้น ๆ: AVO ยกระดับระบบรอบโมเดล

ในภาพรวม Claude Opus 5 ถูกระบุว่าทำคะแนน ARC-AGI-3 ได้ 30.2% ในข้อมูลอันดับที่เผยแพร่ ขณะที่ GPT-5.6 Sol ได้ 7.8% ภายใต้ชุดเครื่องมือทดสอบมาตรฐาน

ผลลัพธ์ของ NVIDIA ใช้โมเดลพื้นฐานเดียวกันในภาพรวม แต่เพิ่มระบบปฏิบัติการสำหรับเอเจนต์ที่ออกแบบมาให้ทำงานต่อเนื่องหลายขั้นตอน ระบบดังกล่าวสามารถตรวจสอบและแก้ไขสิ่งที่กำลังทำอยู่ เรียกใช้เครื่องมือและคำสั่ง อ่านเอกสาร ประเมินผลลัพธ์ และปรับแนวทางตามข้อมูลป้อนกลับจากการทำงานจริง

แทนที่จะถามหนึ่งครั้งแล้วตอบหนึ่งครั้ง AVO ทำงานเป็นวงจรต่อเนื่องดังนี้

1. ตั้งสมมติฐานเกี่ยวกับโจทย์
2. ลงมือผ่านเครื่องมือที่มีอยู่
3. สังเกตการตอบสนองของสภาพแวดล้อม
4. เก็บบันทึกสิ่งที่ค้นพบและสถานะที่สำคัญ
5. ตรวจสอบว่าผลลัพธ์ใช้ได้จริงหรือไม่
6. ปรับกลยุทธ์แล้วดำเนินการต่อ

วงจรนี้มีความสำคัญเป็นพิเศษกับ ARC-AGI-3 เพราะเอเจนต์ต้องสำรวจสภาพแวดล้อมที่ไม่คุ้นเคย และอนุมานกฎหรือเป้าหมายจากการลงมือโต้ตอบ ไม่ใช่เพียงตอบคำถามที่มีคำสั่งระบุไว้อย่างครบถ้วน

สถาปัตยกรรมของ AVO เพิ่มอะไรให้โมเดล

ความสามารถหลายอย่างใน AVO อาจฟังดูคุ้นเคยเมื่อแยกอธิบายทีละส่วน แต่เมื่อทำงานร่วมกันตลอดภารกิจระยะยาว ก็สามารถเปลี่ยนประสิทธิภาพของเอเจนต์ได้อย่างมาก

ความจำถาวร

ความจำถาวรช่วยให้เอเจนต์เก็บสิ่งที่ค้นพบ แนวทางที่ล้มเหลว และสถานะที่มีประโยชน์ไว้ใช้ต่อ แทนที่จะมองทุกการเคลื่อนไหวเป็นการสนทนาแยกขาดจากกัน สำหรับการทดสอบที่ต้องอาศัยการสำรวจ ความสามารถนี้ช่วยลดการทำผิดซ้ำและทำให้ระบบค่อย ๆ สร้างแบบจำลองการทำงานของสภาพแวดล้อมที่ไม่คุ้นเคยได้

เครื่องมือปฏิบัติการและข้อมูลป้อนกลับจากโลกจริง

AVO ถูกพัฒนาขึ้นในฐานะระบบเอเจนต์ด้านการเขียนโค้ดที่สามารถตรวจสอบงาน แก้ไขไฟล์ เรียกใช้คำสั่ง และยืนยันผลลัพธ์ได้ การใช้เหตุผลจึงเชื่อมโยงกับผลที่สังเกตได้จริง ข้อเสนอหนึ่ง ๆ สามารถนำไปทดสอบ วัดผล และแก้ไขใหม่ได้ ไม่ใช่ยอมรับเพียงเพราะฟังดูสมเหตุสมผล

การกำกับดูแลและการกู้คืน

ชั้นกำกับดูแลช่วยประสานงานกระบวนการระยะยาว แทนที่จะปล่อยให้การเรียกใช้โมเดลเพียงครั้งเดียวควบคุมทุกการตัดสินใจไปเรื่อย ๆ ระบบสามารถติดตามความคืบหน้า ตรวจจับทิศทางที่ไม่ก่อให้เกิดผล และช่วยให้เอเจนต์กลับมาตั้งหลักเมื่อสมมติฐานเดิมไม่เป็นจริง NVIDIA และคำอธิบายที่เกี่ยวข้องระบุว่า AVO ผสานความจำ เครื่องมือปฏิบัติการ ข้อมูลป้อนกลับจากภายนอก และระบบกำกับดูแลเข้าด้วยกันเพื่อรองรับงานอัตโนมัติที่ต่อเนื่องยาวนาน

องค์ประกอบเหล่านี้ทำให้โมเดลมีกรอบการทำงานที่เป็นระบบสำหรับการสำรวจ ลงมือ สังเกต และแก้ไข โมเดลยังเป็นแหล่งการใช้เหตุผลหลัก แต่ harness หรือระบบควบคุมรอบโมเดลเป็นตัวกำหนดว่าเหตุผลนั้นจะถูกนำไปใช้ในสภาพแวดล้อมจริงได้ต่อเนื่องเพียงใด

เปรียบเทียบ AVO กับ Claude Opus 5 และ GPT-5.6 Sol

ตัวเลขเหล่านี้มีประโยชน์ต่อการทำความเข้าใจภาพรวม แต่ต้องอ่านควบคู่กับรูปแบบการประเมิน เพราะไม่ได้เป็นการวัดประเภทเดียวกันทั้งหมด

ระบบหรือการตั้งค่า	ผล ARC-AGI-3 ที่รายงาน	บริบทการประเมิน
AVO ที่ใช้ Claude Opus 5	100.00 RHAE	ชุดข้อมูลสาธารณะ ผ่านครบ 183 จาก 183 ด่าน
Claude Opus 5 เพียงอย่างเดียว	30.2%	ข้อมูลอันดับที่เผยแพร่และการเปรียบเทียบภายใต้ harness มาตรฐาน
GPT-5.6 Sol	7.8%	การเปรียบเทียบแบบมาตรฐานหรือแบบกึ่งส่วนตัวที่ผ่านการตรวจสอบ
GPT-5.6 Sol ที่เก็บเหตุผลและบีบอัดบริบทต่อเนื่อง	38.3%	การทดสอบแบบกำหนดเองของ OpenAI บนโจทย์สาธารณะ

ตัวเลขของ AVO กับ Claude Opus 5 แบบเดี่ยวไม่ใช่การวัดชนิดเดียวกัน ผลแรกเป็นผลลัพธ์ของระบบเอเจนต์แบบครบชุดบนชุดข้อมูลสาธารณะ ส่วนผลหลังเป็นคะแนนของโมเดลภายใต้ harness สำหรับการทดสอบมาตรฐาน ความแตกต่างนี้คือหัวใจสำคัญของข่าวนี้

GPT-5.6 Sol ก็สะท้อนประเด็นเดียวกันจากอีกมุมหนึ่ง ผลที่เผยแพร่โดย ARC Prize ระบุว่า Sol ทำได้ 7.78% เมื่อใช้ความพยายามด้านการให้เหตุผลระดับสูงสุด ขณะที่ OpenAI รายงานแยกต่างหากว่าได้ 38.3% บนโจทย์สาธารณะ หลังจากเก็บรักษาเหตุผลข้ามรอบและใช้การบีบอัดบริบท ตัวเลขหลังไม่ใช่คะแนนที่นำมาแทนที่อันดับอย่างเป็นทางการได้โดยตรง แต่แสดงให้เห็นว่าการจัดการความจำและสถานะสามารถส่งผลต่อการทดสอบเอเจนต์อย่างมีนัยสำคัญ

ข้อสรุปที่ปลอดภัยกว่าการตัดสินว่าโมเดลใดเก่งกว่ากันในทุกกรณีคือ ประสิทธิภาพของระบบอัตโนมัติขึ้นอยู่กับหลายส่วนที่ทำงานร่วมกัน ทั้งตัวโมเดล นโยบายความจำ อินเทอร์เฟซเครื่องมือ การจัดการสถานะ และ harness ที่ใช้ประเมินผล

ทำไม AVO จึงเริ่มต้นจากการปรับแต่ง GPU kernel

สภาพแวดล้อมดั้งเดิมของ AVO คือโจทย์วิศวกรรมซอฟต์แวร์ที่ซับซ้อนและการปรับแต่ง GPU kernel ในงานลักษณะนี้ เอเจนต์ต้องตรวจสอบการทำงานเดิม ตั้งสมมติฐาน เสนอการเปลี่ยนแปลง รันการทดสอบที่อิงกับฮาร์ดแวร์ อ่านผลด้านประสิทธิภาพ และตัดสินใจว่าจะทดลองอะไรต่อ ความสำเร็จจึงเกิดจากการทดลองซ้ำหลายรอบ ไม่ใช่การสร้างคำตอบที่ถูกต้องเพียงครั้งเดียว

NVIDIA รายงานว่า AVO สำรวจแนวทางมากกว่า 500 แนวทาง บันทึก kernel ไว้ 40 เวอร์ชัน และทำประสิทธิภาพได้ดีกว่า FlashAttention-4 สูงสุด 10.5% บนระบบ DGX B200

ความสามารถที่ถ่ายโอนไปยัง ARC-AGI-3 จึงอาจไม่ใช่ความรู้เฉพาะทางด้าน GPU kernel แต่เป็นกระบวนการทดลองที่เป็นระบบ ได้แก่ สร้างแนวทาง ลงมือรัน วัดผล เก็บสิ่งที่เรียนรู้ และเปลี่ยนทิศทางเมื่อหลักฐานไม่สนับสนุนสมมติฐานเดิม แม้ ARC-AGI-3 จะใช้รูปแบบงานคนละแบบ แต่ก็ให้รางวัลกับเอเจนต์ที่ค้นพบโครงสร้างผ่านการโต้ตอบซ้ำ ๆ เช่นกัน

ไม่ได้แค่ทำสำเร็จ แต่ยังใช้แอ็กชันอย่างมีประสิทธิภาพ

มีรายงานว่า AVO ใช้ 6,624 แอ็กชัน เพื่อแก้โจทย์ชุดข้อมูลสาธารณะทั้งหมด เทียบกับ 7,542 แอ็กชัน ของ VISTA หรือใช้แอ็กชันน้อยลงประมาณ 12% ขณะที่ผ่านครบทั้ง 183 ด่าน

ประเด็นนี้สำคัญเพราะเมตริก RHAE ของ ARC-AGI-3 คำนึงถึงประสิทธิภาพด้านจำนวนแอ็กชันเมื่อเทียบกับมนุษย์ ไม่ได้ดูเพียงว่าเอเจนต์ไปถึงสถานะสำเร็จหรือไม่ ระบบที่ทำงานระยะยาวจึงต้องบริหารการสำรวจอย่างรอบคอบ การลองผิดลองถูกมากเกินไปอาจทำให้เอเจนต์ที่มีความสามารถอยู่แล้วสิ้นเปลือง ช้า หรือไม่เหมาะกับการใช้งานจริง

บทเรียนสำหรับ AI ระดับองค์กร

บทเรียนที่มีประโยชน์ที่สุดจากผลลัพธ์นี้อยู่ที่สถาปัตยกรรม องค์กรไม่ควรคาดหวังว่าระบบอัตโนมัติที่เชื่อถือได้จะเป็นเพียง LLM ที่ต่อเข้ากับเครื่องมือไม่กี่ชนิด แต่ควรมีชั้นปฏิบัติการที่ควบคุมได้อยู่รอบโมเดล

ชั้นดังกล่าวอาจประกอบด้วย

• ความจำถาวรสำหรับภารกิจและการจัดการสถานะอย่างชัดเจน
• อินเทอร์เฟซเครื่องมือที่จำกัดขอบเขตและทดสอบได้
• จุดตรวจสอบก่อนอนุมัติการดำเนินการสำคัญ
• ขั้นตอนระหว่างทางที่ตรวจสอบได้และบันทึกสำหรับการตรวจสอบย้อนหลัง
• กลไกกู้คืน ย้อนกลับ และส่งต่อให้ผู้ดูแล
• การกำหนดสิทธิ์อย่างชัดเจนสำหรับการดำเนินการที่กระทบลูกค้า ระบบ หรือข้อมูล

ผลของ AVO ยังสนับสนุนแนวคิดเรื่องสแต็กเอเจนต์แบบแยกส่วน หากประสิทธิภาพจำนวนมากมาจาก harness องค์กรก็ควรแยกชั้นความจำ ตัวเชื่อมต่อเครื่องมือ ชุดประเมินผล ระบบควบคุมนโยบาย และระบบสังเกตการณ์ออกจากโมเดลพื้นฐาน วิธีนี้ทำให้เปรียบเทียบโมเดล เปลี่ยนผู้ให้บริการ หรือปรับระบบให้เหมาะกับเวิร์กโฟลว์เฉพาะได้ง่ายขึ้น โดยไม่ต้องสร้างทั้งระบบใหม่

อย่างไรก็ตาม ผลการทดสอบนี้ยังไม่ควรถูกมองว่าเป็นหลักฐานยืนยันความน่าเชื่อถือระดับองค์กร ตัวเลข 100% ของ NVIDIA เป็นผลลัพธ์ที่บริษัทรายงานบนชุดข้อมูลสาธารณะของ ARC-AGI-3 ไม่ได้ยืนยันว่าระบบจะทำได้ในระดับเดียวกันกับโจทย์ชุดส่วนตัว ข้อมูลการผลิต หรือกระบวนการทางธุรกิจที่มีความเสี่ยงสูง ยังจำเป็นต้องมีการทำซ้ำโดยอิสระ การทดสอบกับชุดข้อมูลที่มองไม่เห็นล่วงหน้า การวิเคราะห์ต้นทุนและเวลาแฝง ตลอดจนการตรวจสอบความปลอดภัย

ข้อสรุปที่ใหญ่กว่าคะแนน 100%

ผลลัพธ์ของ AVO กำลังเปลี่ยนคำถามจาก “โมเดลไหนฉลาดที่สุด?” ไปเป็นคำถามเชิงปฏิบัติการมากขึ้นว่า ระบบใดสามารถรักษาบริบท ใช้เครื่องมือ เรียนรู้จากข้อมูลป้อนกลับ และกู้คืนจากความผิดพลาดได้อย่างน่าเชื่อถือเมื่อทำงานเป็นเวิร์กโฟลว์ระยะยาว

โมเดลยังคงมีความสำคัญ แต่ ARC-AGI-3 แสดงให้เห็นอย่างชัดเจนว่าระบบรอบโมเดลสามารถเป็นตัวตัดสินว่า ความสามารถดังกล่าวจะยังคงทำงานได้หรือไม่เมื่อเผชิญกับสภาพแวดล้อมที่ไม่คุ้นเคย สำหรับองค์กรที่กำลังสร้าง AI อัตโนมัติ ความได้เปรียบในการแข่งขันอาจอยู่ที่คุณภาพของระบบปฏิบัติการและการกำกับดูแล มากกว่าการเรียกใช้โมเดลเพียงครั้งเดียว