Anthropic का Claude Fable 5 Google के Android Bench पर टॉप पर, हर कीमत व स्पीड की पूरी जानकारी

Fable 5 ने इंडस्ट्री-वाइड कोडिंग बेंचमार्क में भी शीर्ष प्रदर्शन किया है। स्वतंत्र रिपोर्टों के अनुसार, इसने SWE-bench Verified पर 95.0% और SWE-bench Pro पर 80.0% स्कोर किया, जो पिछली पीढ़ी के मॉडलों से काफी आगे है ^WLM। एजेंटिक कोडिंग बेंचमार्क Terminal-Bench 2.0 पर Fable 5 ने 84.3% सटीकता दर्ज की ^WB। जुलाई 2026 तक कई स्वतंत्र लीडरबोर्ड Fable 5 को सबसे अच्छा AI मॉडल मानते हैं ^BB।

पूरी रैंकिंग: GPT 5.5, Gemini 3.1 Pro और बाकी

सभी पहले रैंक किए गए मॉडलों का Harbor-आधारित नई पद्धति के तहत पुनर्मूल्यांकन किया गया, जिससे एक नई लीडरबोर्ड तैयार हुई ^DA। Android Bench के अनुसार शीर्ष दस मॉडल:

स्रोत: 9to5Google की Android Bench की नई रैंकिंग पर रिपोर्ट ^A

अपडेटेड स्टैंडिंग से महत्वपूर्ण निष्कर्ष:

• Anthropic के पास शीर्ष छह में तीन मॉडल (Fable 5, Sonnet 5, Opus 4.8) हैं, जो इसे सबसे मजबूत लाइनअप बनाता है ^A।
• OpenAI का GPT 5.5 80.2 स्कोर के साथ सबसे करीबी प्रतिद्वंद्वी है, लेकिन Fable 5 से 4.3 अंक पीछे है और इसकी लेटेंसी लगभग दोगुनी है ^A।
• Google का खुद का Gemini 3.1 Pro Preview 73.7 स्कोर के साथ 5वें स्थान पर है, जो Anthropic के दोनों टॉप मॉडल और OpenAI के दोनों मॉडल से पीछे है ^A। हल्का Gemini 3.5 Flash 71.1 स्कोर के साथ और काफी अधिक लागत और लेटेंसी के साथ और नीचे है ^A।
• Kimi K2.7 Code टॉप 10 में सबसे कम लागत ($48.10) लेकिन सबसे कम सटीकता (70.4) प्रदान करता है, जो लागत-बनाम-सटीकता के सबसे साफ ट्रेड-ऑफ को दर्शाता है ^A।

Harbor फ्रेमवर्क पर माइग्रेशन

Google ने Android Bench को Harbor फ्रेमवर्क पर मानकीकृत किया है, जो Laude Institute (Terminal-Bench के पीछे की टीम) द्वारा विकसित एक ओपन-सोर्स इवैलुएशन इकोसिस्टम है ^DATG। पहले Android Bench कस्टम mini-swe-agent v1 हार्नेस का उपयोग करता था। Harbor एक मानकीकृत, कंटेनर-आधारित इवैलुएशन पाइपलाइन प्रदान करता है जो क्लाउड डिप्लॉयमेंट, कम्युनिटी टास्क सबमिशन और रीइन्फोर्समेंट लर्निंग रोलआउट को सपोर्ट करता है ^ATQ।

इस माइग्रेशन का मतलब है कि पिछले सभी मॉडल स्कोर अब तुलनीय नहीं हैं — ऊपर दिए गए सभी स्कोर Harbor पद्धति के तहत ताजा मूल्यांकन हैं ^9A। Google ने कहा कि यह कदम LLMs के तेजी से सुधार के बीच इवैलुएशन मानकों को अत्याधुनिक बनाए रखने के लिए जरूरी था ^D।

डेवलपर कंट्रीब्यूशन की शुरुआत

पहली बार, Google ने Android Bench को कम्युनिटी कंट्रीब्यूशन के लिए खोल दिया है ^9A। डेवलपर्स अब:

• वास्तविक Android डेवलपमेंट टास्क बेंचमार्क डेटासेट में जोड़ने के लिए सबमिट कर सकते हैं ^9A।
• समान Harbor टूलिंग का उपयोग करके मॉडलों के अपने बेंचमार्क इवैलुएशन साझा कर सकते हैं, जिससे व्यक्तिगत उपयोग के मामलों के लिए सीधी तुलना संभव हो सके ^9A।

Google ने इसे डेवलपर्स की "हमारे डेटासेट पर फीडबैक प्रदान करने का तरीका" की मांग के जवाब और Android डेवलपमेंट समुदाय के साथ गहरे सहयोग की दिशा में एक कदम बताया ⁹।

लागत बनाम सटीकता के ट्रेड-ऑफ

नई लीडरबोर्ड एक बाजार दिखाती है जहां लागत में अग्रणी और सटीकता में अग्रणी के बीच बड़ा अंतर है ^A:

• सबसे सटीक मॉडल (Claude Fable 5, 84.5) की लागत $133.20 प्रति 1K टास्क है।
• टॉप 10 में सबसे सस्ता मॉडल (Kimi K2.7 Code, $48.10) केवल 70.4 स्कोर करता है, जो 14.1 अंकों का अंतर है।
• Gemini 3.5 Flash सबसे महंगा विकल्प ($165.60) है लेकिन केवल 71.1 स्कोर करता है।
• GPT 5.5 उच्च सटीकता और मध्यम लागत का सबसे अच्छा संतुलन प्रदान करता है: 80.2 पर $138.30।
• Claude Sonnet 5 एक मिड-रेंज वैल्यू प्ले प्रदान करता है: 76.2 पर $99.90।

प्रतिस्पर्धी गतिशीलता

जुलाई 2026 का अपडेट Anthropic, OpenAI और Google के बीच त्रिपक्षीय दौड़ को मजबूत करता है ^A:

• Anthropic शुद्ध सटीकता में स्पष्ट नेता है। Fable 5 का 84.5 स्कोर और टॉप 6 में तीन मॉडलों के साथ Anthropic की गहराई दिखाती है कि Android-विशिष्ट कोडिंग क्षमता में इसका निवेश रंग ला रहा है ^AM।
• OpenAI GPT 5.5 (80.2) के साथ सबसे मजबूत एकल-मॉडल प्रतियोगी है, और GPT 5.4 (74.1) एक सम्मानजनक स्थिति रखता है, लेकिन OpenAI में Anthropic जैसी लाइनअप गहराई नहीं है ^A।
• Google की Gemini लाइन दोनों प्रतियोगियों से सटीकता में पीछे है। अपने स्वयं के बेंचमार्क के मालिक होने के बावजूद, Google के अपने मॉडल 5वें और 8वें स्थान पर हैं — एक प्रतिस्पर्धी कमजोरी जिसे कंपनी बेंचमार्क को समुदाय के लिए खोलकर और तीसरे पक्ष के मॉडल सबमिशन को आमंत्रित करके सार्वजनिक रूप से स्वीकार कर रही है ^9AA।

यह पहला Android Bench अपडेट है जहां एक Anthropic मॉडल Google के अपने बेंचमार्क में Android कोडिंग के लिए आगे है, जो मोबाइल AI असिस्टेंट मार्केट में एक प्रतीकात्मक बदलाव है।