คำตอบเผยแพร่แล้ว21 แหล่งที่มา
ทำไม GPT-6 Astra ถึงได้อันดับไม่เหมือนกันในแต่ละเบนช์มาร์ก
GPT 6 Astra ไม่มีอันดับ “เก่งที่สุดโดยรวม” เพียงอันดับเดียว: ตาราง Artificial Analysis ที่ให้มาแสดง Claude Fable 5.1 นำ 57 ต่อ 55 ขณะที่ ARC AGI 3 รายงาน Astra ได้ 62.7% บน standard harness และ 99.9% เมื่อใช้ Provider... ผล ARC AGI 3 สองชุดไม่ควรนำมาเทียบปนกัน เพราะ Provider Adapter เก็บสถานะการให้เหตุผลภายในของผู้ใ...
เผยแพร่โดยแก้ไขด้วย GPT-5.6 Terraรูปภาพสร้างด้วย GPT Image 2
คำตอบการวิจัย
ประเด็นสำคัญ
- GPT 6 Astra ไม่มีอันดับ “เก่งที่สุดโดยรวม” เพียงอันดับเดียว: ตาราง Artificial Analysis ที่ให้มาแสดง Claude Fable 5.1 นำ 57 ต่อ 55 ขณะที่ ARC AGI 3 รายงาน Astra ได้ 62.7% บน standard harness และ 99.9% เมื่อใช้ Provider...
- ผล ARC AGI 3 สองชุดไม่ควรนำมาเทียบปนกัน เพราะ Provider Adapter เก็บสถานะการให้เหตุผลภายในของผู้ให้บริการและจัดการบริบทยาวได้ ต่างจากอินเทอร์เฟซกลางของ standard harness
- สำหรับการใช้งานจริง ควรเทียบงานเดียวกัน การตั้งค่าโมเดล งบการให้เหตุผล สิทธิ์ใช้เครื่องมือ harness และต้นทุนจนงานสำเร็จ ไม่ใช่ดูคะแนนพาดหัวหรือราคาต่อโทเค็นเพียงอย่างเดียว
AI พรอมต์
openai.comCreate a landscape editorial hero image for this Studio Global article: How did independent evaluations of OpenAI’s GPT-6 Astra, released September 3, 2026, reach conflicting conclusions about its standing versus. Article summary: The claimed rankings are not directly comparable, and several of the precise figures in the question cannot be independently substantiated from the primary evaluation pages available to me. In particular, the available A. Topic tags: general, general web, user generated, documentation. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks,
คะแนนพาดหัวอาจทำให้ GPT-6 Astra ดูเหมือนเป็นทั้งผู้นำ เสมอ หรือเป็นรองในเวลาเดียวกัน แต่ความขัดแย้งนี้ส่วนใหญ่เกิดจากวิธีวัดที่ต่างกัน เพราะตารางอันดับแบบรวม การทดสอบเอเจนต์เชิงโต้ตอบ โจทย์คณิตศาสตร์เชิงพิสูจน์ และราคา API ต่างกำลังประเมิน “ระบบ” ภายใต้ข้อจำกัดคนละชุด
ข้อสรุปที่ใช้ได้จริงจึงไม่ใช่ว่าผลใดผลหนึ่งต้องผิด หากคือ ไม่มีอันดับโมเดลสากลที่มีความหมายได้ โดยไม่ระบุงานและรูปแบบการประเมินให้ชัดเจน
คะแนนบนลีดเดอร์บอร์ดคือการออกแบบการวัด ไม่ใช่มาตรวัดสติปัญญาอันเดียว
ดัชนีแบบรวม (composite index) นำงานหลายประเภทมารวมเป็นคะแนนเดียว ผลลัพธ์จึงขึ้นอยู่กับว่าใส่โจทย์ใดเข้าไป ให้น้ำหนักแต่ละโจทย์เท่าไร ทดสอบด้วยคอนฟิกโมเดลแบบไหน รวมถึงกำหนดระดับการให้เหตุผล การใช้เครื่องมือ และต้นทุนอย่างไร โมเดลที่ครอบคลุมความสามารถหลากหลายอาจนำในดัชนีหนึ่ง แต่ตามหลังในดัชนีที่เน้นงานเขียนโค้ดหรือเอเจนต์มากกว่าได้
คะแนนจุดเดียวจึงไวต่อทั้งช่วงเวลาและคอนฟิก ตัวอย่างเช่น หน้าการเปรียบเทียบของ Artificial Analysis ที่ให้มาระบุ GPT-6 Astra (max) ที่ 55 และ Claude Fable 5.1 ที่ 57 ไม่ใช่ตัวเลข 61 และ 66 ที่ปรากฏในบทความเปรียบเทียบบางชิ้นก่อนหน้านี้ 3 ความต่างนี้เป็นเหตุผลว่าทำไมการอ้างอันดับควรบันทึกวันทดสอบและการตั้งค่าที่ใช้ทุกครั้ง แทนการมองสแนปช็อตใดสแนปช็อตหนึ่งเป็นคำตัดสินถาวร
ส่วนข้ออ้างเรื่องอันดับของ GPT-6 Astra ใน Capabilities Index 169 คะแนนของ Epoch AI ยังไม่มีหลักฐานจากเอกสารต้นทางของ Epoch ที่ให้มารองรับ จึงไม่ควรใช้เป็นข้อเปรียบเทียบชี้ขาด หากยังไม่มีลีดเดอร์บอร์ดต้นฉบับ น้ำหนักของเบนช์มาร์ก การตั้งค่าโมเดล และข้อมูลความไม่แน่นอนประกอบ
ARC-AGI-3: เปลี่ยน harness ผลก็เปลี่ยน
ARC-AGI-3 เป็นเบนช์มาร์กแบบโต้ตอบ ไม่ใช่ชุดคำถามนิ่ง ๆ เอเจนต์ต้องสำรวจสภาพแวดล้อมที่ไม่คุ้นเคย เรียนรู้เป้าหมายระหว่างทาง สร้างแบบจำลองโลกที่ปรับตัวได้ และปรับกลยุทธ์จากประสบการณ์ 50
ARC Prize รายงานผลโดดเด่นของ GPT-6 Astra บนการประเมิน Semi-Private สองเงื่อนไขดังนี้
| เงื่อนไขการประเมิน | คะแนนสูงสุดที่รายงาน | ต้นทุนต่อการรันที่รายงาน |
|---|---|---|
| Standard harness, เหตุผลระดับ max | 62.7% | 26,098 ดอลลาร์สหรัฐ |
| OpenAI Provider Adapter, เหตุผลระดับ high | 99.9% | 18,817 ดอลลาร์สหรัฐ (รายงานโดยประมาณว่า 19,000 ดอลลาร์) |
ช่องว่างนี้ไม่ใช่รายละเอียดเชิงเทคนิคเล็กน้อย ภายใต้ Standard harness เอเจนต์ใช้หน้าติดต่อขั้นต่ำที่เป็นกลางต่อผู้ให้บริการ และเก็บต่อได้เฉพาะโน้ตที่ตัวโมเดลเลือกบันทึกไว้เอง ขณะที่ Provider Adapter สามารถรักษาสถานะการให้เหตุผลแบบปิดภายในของผู้ให้บริการข้ามคำขอ และใช้การย่อบริบท (context compaction) เพื่อรองรับการสนทนาที่ยาวขึ้น 51
53
ดังนั้น คะแนนจาก Provider Adapter จึงวัดผลงานของ Astra ร่วมกับ การเชื่อมต่อจัดการบริบทแบบเนทีฟของ OpenAI ซึ่งเป็นความสามารถของผลิตภัณฑ์ที่มีความหมาย แต่ไม่ได้เทียบเท่ากับโมเดลที่ถูกทดสอบผ่านอินเทอร์เฟซกลางเท่านั้นโดยอัตโนมัติ ARC Prize เองระบุว่า harness ทั้งสองตอบคำถามการประเมินคนละข้อ 53
ARC Prize ยังรายงานว่า Astra ใช้จำนวนแอ็กชันน้อยกว่าค่ามัธยฐานของมนุษย์ที่เข้าทดสอบใน 96% ของด่าน 52 นี่คือผลด้านประสิทธิภาพของการลงมือทำ ไม่ใช่ข้อสรุปว่าโมเดลเก่งกว่ามนุษย์ในงานทุกประเภท และไม่อาจแทนการวัดอัตราทำงานสำเร็จ ความน่าเชื่อถือ และต้นทุนรวมในเวิร์กโฟลว์จริงได้
FrontierMath Erdős บอกอะไรได้ และบอกอะไรไม่ได้
FrontierMath Erdős มีโจทย์ Erdős ที่ยากจำนวน 68 ข้อ ซึ่งยังเป็นปัญหาเปิด ณ เดือนสิงหาคม 2026 การแก้โจทย์กำหนดให้ระบบต้องพิสูจน์หรือหักล้างข้อคาดการณ์ใน Lean ซึ่งเป็น proof assistant ทำให้ตรวจสอบหลักฐานเชิงคณิตศาสตร์ด้วยเครื่องได้ 33
37
รูปแบบนี้ทำให้เบนช์มาร์กมีความเข้มงวดเป็นพิเศษในเรื่องความถูกต้องของการพิสูจน์เชิงรูปนัย แต่ผลคณิตศาสตร์ไม่ได้เปลี่ยนเป็นอันดับภาพรวมของความสามารถด้านโค้ด เอเจนต์ หรือการให้เหตุผลทั่วไปโดยอัตโนมัติ มันวัดความสำเร็จในงานพิสูจน์เชิงรูปนัยที่แคบและยาก ภายใต้งบที่ระบุไว้
เอกสารต้นทางที่ให้มายังไม่ยืนยันจำนวนโจทย์ทั้งหมดที่ Astra แก้ได้ งบการรันมาตรฐานเทียบกับงบนอกมาตรฐาน หรือรายการผลที่ถูกตัดออกจากการประเมิน FrontierMath Erdős รายละเอียดเหล่านี้ควรรายงานจากตารางผลหรือรายงานประเมินเฉพาะของ Epoch พร้อมแนบงบและเกณฑ์การมีสิทธิ์เสมอ
หน้า FrontierMath: Open Problems ของ Epoch อีกหน้าหนึ่งระบุว่า การประเมิน GPT-6 Astra ก่อนเปิดตัวพบเส้นโค้ง genus-2 ที่มีจุดมีเหตุผล 648 จุด นี่เป็นผลจากเบนช์มาร์กคนละชุด จึงไม่ควรนำไปปะปนกับคะแนน FrontierMath Erdős 43
ราคาโทเค็นไม่ใช่ราคาต่อหนึ่งงาน
OpenAI ระบุราคา GPT-6 Astra ที่ 10 ดอลลาร์สหรัฐต่อ 1 ล้านโทเค็นขาเข้า และ 50 ดอลลาร์สหรัฐต่อ 1 ล้านโทเค็นขาออก 19 แหล่งเปรียบเทียบในข้อมูลที่ให้มาระบุว่า Claude Fable 5.1 มีราคา headline สำหรับขาเข้าและขาออกเท่ากัน แต่คิดค่าอ่านอินพุตจากแคช 0.25 ดอลลาร์ต่อ 1 ล้านโทเค็น เทียบกับ 1.00 ดอลลาร์ ของ Astra
4
จึงมีคำถามเรื่องต้นทุนอยู่สองแบบที่ต่างกัน
- เอเจนต์เขียนโค้ดระยะยาวที่ใช้บริบทของรีโปซ้ำ: ค่าอ่านแคชที่ต่ำกว่าอาจลดค่าใช้จ่ายได้มาก หากลักษณะงานได้ประโยชน์จากการแคชจริง
- ต้นทุนเมื่องานเสร็จสมบูรณ์: โมเดลหนึ่งอาจถูกกว่าได้ หากไปถึงคำตอบที่ถูกต้องด้วยโทเค็นขาออก การเรียกเครื่องมือ การลองซ้ำ แอ็กชัน หรือการแทรกแซงของมนุษย์น้อยกว่า
OpenAI ระบุว่า Astra มีต้นทุน API โดยประมาณต่อหนึ่งงานต่ำกว่าในการประเมินบางรายการ เพราะใช้โทเค็นขาออกน้อยลงอย่างมาก 18 แต่เป็นหลักฐานที่ผู้ขายรายงานเอง ไม่ใช่คำรับประกันทั่วไป คะแนนเบนช์มาร์กและราคาโทเค็นเพียงอย่างเดียวจึงพิสูจน์ไม่ได้ว่าโมเดลใดจะประหยัดกว่าสำหรับโค้ดเบสหรือเวิร์กโฟลว์เอเจนต์เฉพาะขององค์กรหนึ่ง
วิธีเทียบโมเดลโดยไม่หลงกับตัวเลขพาดหัว
ก่อนเลือกใช้ Astra, Claude Fable 5.1 หรือ GPT-5.6 Sol ควรกำหนดงานและทำให้เงื่อนไขเทียบกันได้ก่อน
- จับคู่งานให้ตรงกัน แยกทดสอบงานดูแลรีโปซิทอรี การควบคุมเบราว์เซอร์ งานวิจัย การพิสูจน์เชิงรูปนัย และงานเอกสาร
- ล็อกนโยบายการอนุมานให้เทียบกันได้ กำหนดระดับการให้เหตุผล เพดานโทเค็น สิทธิ์ใช้เครื่องมือ และกฎการลองซ้ำให้ใกล้เคียงกัน
- แยกคุณภาพโมเดลออกจากคุณภาพการเชื่อมต่อ รายงานผลจาก neutral harness ควบคู่กับผลจากการเชื่อมต่อแบบเนทีฟของผู้ให้บริการ แทนการรวมเป็นอันดับเดียว
- วัดความสำเร็จต่อเงินที่จ่าย ติดตามงานที่เสร็จถูกต้อง เวลาแฝง การลองซ้ำ การใช้แคช และการตรวจทานโดยมนุษย์ ไม่ใช่ดูแค่ราคาโทเค็นขาเข้า-ขาออก
- เก็บความไม่แน่นอนไว้ในข้อสรุป ช่องว่างคะแนนเล็กน้อยและคอนฟิกที่เปลี่ยนได้ควรถูกตีความอย่างระมัดระวัง โดยเฉพาะเมื่อหลักฐานสาธารณะยังไม่ครบ
ผล 99.9% ของ Astra บน ARC-AGI-3 ผ่าน Provider Adapter นั้นน่าจับตา และผล 62.7% บน standard harness ก็ยังแข็งแกร่ง แต่ทั้งสองผลไม่ได้ลบล้างดัชนีอิสระที่ให้โมเดลอื่นนำภายใต้ชุดงานและคอนฟิกคนละแบบ คำถามที่มีประโยชน์กว่าไม่ใช่ “โมเดลไหนชนะ” แต่คือ “การตั้งค่าที่ทดสอบแบบใดใกล้เคียงกับงานที่ระบบของเราต้องทำจริงที่สุด”
Studio Global AI
ทำการวิจัยต่อ
หน้านี้รวมคำตอบที่ได้รับการสนับสนุนจากแหล่งที่มาซึ่งคุณสามารถดำเนินการต่อภายใน Studio Global
คนยังถาม
คำตอบสั้น ๆ สำหรับ "ทำไม GPT-6 Astra ถึงได้อันดับไม่เหมือนกันในแต่ละเบนช์มาร์ก" คืออะไร
GPT 6 Astra ไม่มีอันดับ “เก่งที่สุดโดยรวม” เพียงอันดับเดียว: ตาราง Artificial Analysis ที่ให้มาแสดง Claude Fable 5.1 นำ 57 ต่อ 55 ขณะที่ ARC AGI 3 รายงาน Astra ได้ 62.7% บน standard harness และ 99.9% เมื่อใช้ Provider...
ประเด็นสำคัญที่ต้องตรวจสอบก่อนคืออะไร?
GPT 6 Astra ไม่มีอันดับ “เก่งที่สุดโดยรวม” เพียงอันดับเดียว: ตาราง Artificial Analysis ที่ให้มาแสดง Claude Fable 5.1 นำ 57 ต่อ 55 ขณะที่ ARC AGI 3 รายงาน Astra ได้ 62.7% บน standard harness และ 99.9% เมื่อใช้ Provider... ผล ARC AGI 3 สองชุดไม่ควรนำมาเทียบปนกัน เพราะ Provider Adapter เก็บสถานะการให้เหตุผลภายในของผู้ให้บริการและจัดการบริบทยาวได้ ต่างจากอินเทอร์เฟซกลางของ standard harness
ฉันควรทำอย่างไรต่อไปในทางปฏิบัติ?
สำหรับการใช้งานจริง ควรเทียบงานเดียวกัน การตั้งค่าโมเดล งบการให้เหตุผล สิทธิ์ใช้เครื่องมือ harness และต้นทุนจนงานสำเร็จ ไม่ใช่ดูคะแนนพาดหัวหรือราคาต่อโทเค็นเพียงอย่างเดียว