GPT-6 Astra की बेंचमार्क रैंकिंग अलग-अलग क्यों दिखती हैं?

बेंचमार्क की सुर्खियाँ GPT-6 Astra को एक साथ बेहद आगे, बराबरी पर और पीछे दिखा सकती हैं। यह विरोधाभास आमतौर पर गलत नतीजों का नहीं, बल्कि अलग माप-पद्धतियों का है। कोई संयुक्त लीडरबोर्ड है, कोई इंटरैक्टिव एजेंट टेस्ट, कोई औपचारिक गणित-प्रमाण का बेंचमार्क और कोई API टोकन की कीमत—इनमें से हर एक अलग परिस्थितियों में अलग क्षमता मापता है।

सीधी बात: काम, टेस्ट-सेटअप और लागत की परिभाषा बताए बिना किसी मॉडल की एक सार्वभौमिक रैंकिंग नहीं हो सकती।

लीडरबोर्ड स्कोर ‘बुद्धिमत्ता मीटर’ नहीं, एक माप-डिज़ाइन है

कम्पोज़िट या संयुक्त इंडेक्स कई परीक्षणों को जोड़कर एक अंक बनाते हैं। परिणाम इस बात पर निर्भर करता है कि कौन-से टेस्ट शामिल हैं, उनका वज़न कितना है, मॉडल का कौन-सा कॉन्फ़िगरेशन चलाया गया, रीजनिंग प्रयास कितना था, टूल इस्तेमाल हुए या नहीं, और लागत को कैसे गिना गया। इसलिए व्यापक क्षमता वाले कामों में मजबूत मॉडल किसी एग्रीगेट में आगे हो सकता है, लेकिन कोडिंग-केंद्रित या एजेंट-केंद्रित इंडेक्स में पीछे रह सकता है।

अंक समय और कॉन्फ़िगरेशन के साथ बदल भी सकते हैं। उपलब्ध Artificial Analysis तुलना में GPT-6 Astra (max) का Intelligence Index 55 और Claude Fable 5.1 का 57 है—जो पहले की कुछ तुलना-रिपोर्टों में बताए गए 61 और 66 से अलग है। 3 इसलिए किसी भी स्कोर को स्थायी रैंक मानने के बजाय टेस्ट की तारीख और पूरा कॉन्फ़िगरेशन दर्ज करना जरूरी है।

Epoch AI के कथित 169-पॉइंट Capabilities Index और उसमें Astra की स्थिति के लिए उपलब्ध प्राथमिक सामग्री पर्याप्त पुष्टि नहीं देती। मूल लीडरबोर्ड, बेंचमार्क वेटेज, मॉडल सेटिंग और अनिश्चितता की जानकारी के बिना उसे निर्णायक तुलना नहीं मानना चाहिए।

ARC-AGI-3: टेस्ट-हार्नेस बदलने पर नतीजा क्यों बदला

ARC-AGI-3 स्थिर प्रश्नों का सेट नहीं, बल्कि एक इंटरैक्टिव बेंचमार्क है। एजेंट को अनजान वातावरणों को समझना, चलते-चलते लक्ष्य पकड़ना, परिस्थितियों का अनुकूल मानसिक मॉडल बनाना और अनुभव के आधार पर रणनीति बदलनी होती है। 50

ARC Prize ने Semi-Private मूल्यांकन में GPT-6 Astra के दो प्रमुख नतीजे बताए:

मूल्यांकन की स्थिति	सर्वोत्तम रिपोर्टेड स्कोर	प्रति रन रिपोर्टेड लागत
Standard harness, max reasoning	62.7%	$26,098
OpenAI Provider Adapter, high reasoning	99.9%	$18,817 (लगभग $19K)

5152

यह अंतर महज़ तकनीकी बारीकी नहीं है। Standard harness में एजेंट को न्यूनतम, प्रदाता-निरपेक्ष इंटरफ़ेस मिलता है और वह केवल वे नोट्स आगे ले जा सकता है जिन्हें वह स्पष्ट रूप से सहेजना चुनता है। दूसरी ओर, Provider Adapter अनुरोधों के बीच प्रदाता की अपारदर्शी रीजनिंग-स्टेट को सुरक्षित रख सकता है और लंबे संवादों के लिए कॉन्टेक्स्ट-कम्पैक्शन का उपयोग करता है। 5153

इसलिए Provider Adapter का 99.9% स्कोर Astra के साथ OpenAI की मूल कॉन्टेक्स्ट-मैनेजमेंट इंटीग्रेशन की संयुक्त क्षमता मापता है। यह उत्पाद के लिहाज से महत्वपूर्ण है, लेकिन इसे केवल प्रदाता-निरपेक्ष इंटरफ़ेस से जांचे गए अन्य मॉडलों के साथ अपने-आप समान तुलना नहीं माना जा सकता। ARC Prize भी इन दोनों हार्नेस को अलग मूल्यांकन-स्थितियाँ मानता है, जो अलग सवालों के जवाब देती हैं। 53

ARC Prize के अनुसार, Astra ने 96% स्तरों पर परीक्षण में शामिल औसत मानव से कम कार्रवाइयाँ कीं। 52 यह कार्रवाई-दक्षता का नतीजा है। इसका अर्थ यह नहीं कि मॉडल हर तरह के काम में इंसानों से बेहतर है; न ही यह वास्तविक कार्यप्रवाह में काम पूरा होने, विश्वसनीयता और कुल लागत की तुलना का विकल्प है।

FrontierMath Erdős क्या साबित करता है—और क्या नहीं

FrontierMath Erdős में 68 कठिन Erdős समस्याएँ हैं, जो अगस्त 2026 तक खुली थीं। किसी कार्य को हल करने के लिए सिस्टम को अनुमान को Lean में सिद्ध या खंडित करना होता है; इसलिए जमा किए गए प्रमाणों की यांत्रिक जांच हो सकती है। 3337

यह डिज़ाइन औपचारिक गणितीय शुद्धता के लिए असाधारण रूप से कठोर है। लेकिन गणित में अच्छा परिणाम किसी मॉडल को कोडिंग, एजेंट कार्य या सामान्य रीजनिंग में सर्वश्रेष्ठ सिद्ध नहीं करता। यह एक तय बजट के भीतर अत्यंत कठिन औपचारिक-प्रमाण कार्य पर सफलता मापता है।

उपलब्ध प्राथमिक स्रोत Astra द्वारा हल की गई कुल समस्याओं, मानकीकृत और गैर-मानकीकृत रन बजट, या FrontierMath Erdős मूल्यांकन से हटाए गए नतीजों की पुष्टि नहीं करते। ये विवरण तभी रिपोर्ट होने चाहिए जब Epoch की विशिष्ट परिणाम-तालिका या मूल्यांकन रिपोर्ट उपलब्ध हो—और उसके साथ बजट तथा पात्रता की शर्तें भी दी जाएँ।

Epoch के अलग FrontierMath: Open Problems पृष्ठ पर प्री-रिलीज़ GPT-6 Astra मूल्यांकन को 648 परिमेय बिंदुओं वाली genus-2 curve खोजने का श्रेय दिया गया है। यह अलग बेंचमार्क परिणाम है; इसे FrontierMath Erdős के स्कोर के साथ मिलाना सही नहीं होगा। 43

टोकन कीमत, काम की कीमत नहीं होती

OpenAI के अनुसार GPT-6 Astra की कीमत प्रति 10 लाख इनपुट टोकन $10 और प्रति 10 लाख आउटपुट टोकन $50 है। 19 उपलब्ध तुलना-रिपोर्टिंग में Claude Fable 5.1 के लिए भी यही हेडलाइन दरें बताई गई हैं, लेकिन कैश्ड-इनपुट टोकन के लिए $0.25 प्रति 10 लाख, जबकि Astra के लिए $1.00 प्रति 10 लाख बताया गया है। 4

इससे लागत के दो अलग सवाल निकलते हैं:

• बार-बार रिपॉज़िटरी कॉन्टेक्स्ट चलाने वाले लंबे कोडिंग एजेंट: कैश रीड की कम कीमत लागत काफी घटा सकती है, बशर्ते काम कैशिंग का लाभ ले सके।
• सफलतापूर्वक पूरा किए गए काम की कीमत: कोई मॉडल कम आउटपुट टोकन, टूल कॉल, दोबारा कोशिश, कार्रवाई या मानवीय हस्तक्षेप में सही नतीजा दे तो वह सस्ता पड़ सकता है।

OpenAI का कहना है कि उसकी कुछ मूल्यांकनों में Astra ने काफी कम आउटपुट टोकन खर्च कर प्रति कार्य अनुमानित API लागत घटाई। 18 यह विक्रेता की रिपोर्ट की गई जानकारी है, सार्वभौमिक गारंटी नहीं। केवल बेंचमार्क स्कोर या प्रति-टोकन कीमत से यह साबित नहीं होता कि किसी खास कोडबेस या एजेंट वर्कफ़्लो में कौन-सा मॉडल सस्ता होगा।

भ्रामक रैंकिंग से बचकर मॉडल की तुलना कैसे करें

Astra, Claude Fable 5.1 या GPT-5.6 Sol में से चुनाव करने से पहले इन शर्तों को एक समान करें:

1. काम अलग-अलग मापें। रिपॉज़िटरी मेंटेनेंस, ब्राउज़र ऑटोमेशन, रिसर्च, औपचारिक प्रमाण और दस्तावेज़-कार्य को एक ही टेस्ट में न मिलाएँ।
2. इन्फ़रेंस नीति तय रखें। तुलनीय रीजनिंग-लेवल, टोकन सीमा, टूल अनुमति और रीट्राई नियम इस्तेमाल करें।
3. मॉडल और इंटीग्रेशन को अलग रखें। निष्पक्ष हार्नेस के नतीजे और प्रदाता-नेटिव इंटीग्रेशन के नतीजे साथ रिपोर्ट करें, पर उन्हें एक अंक में न समेटें।
4. प्रति डॉलर सफलता मापें। सही ढंग से पूरे हुए कार्य, विलंब, रीट्राई, कैश उपयोग और जरूरी मानव समीक्षा को ट्रैक करें—सिर्फ इनपुट-आउटपुट टोकन की दरें नहीं।
5. अनिश्चितता को जगह दें। छोटे स्कोर-अंतर और बदलते कॉन्फ़िगरेशन को सावधानी से पढ़ें, खासकर जब सार्वजनिक साक्ष्य अधूरा हो।

Astra का ARC-AGI-3 Provider Adapter परिणाम बेहद उल्लेखनीय है और Standard harness में भी उसका प्रदर्शन मजबूत है। लेकिन इनमें से कोई नतीजा ऐसे स्वतंत्र इंडेक्स को खारिज नहीं करता जिसमें दूसरी टास्क-मिश्रण और सेटिंग के कारण कोई दूसरा मॉडल आगे हो। उपयोगी सवाल “कौन जीता?” नहीं, बल्कि “किस मूल्यांकन का सेटअप हमारे वास्तविक काम के सबसे करीब है?” है।