उत्तरप्रकाशित27 स्रोत
Anthropic का Claude Fable 5 Google के Android Bench पर टॉप पर, हर कीमत व स्पीड की पूरी जानकारी
7 जुलाई 2026 को Google ने Android Bench को अपडेट किया और Anthropic का Claude Fable 5 मॉडल 84.5% स्कोर के साथ पहले स्थान पर पहुंच गया, साथ ही पुराने सभी स्कोर अब तुलनीय नहीं रहे क्योंकि बेंचमार्क Harbor फ्रेमवर्क पर शि... पहली बार, डेवलपर्स अब Android Bench में अपने टास्क और बेंचमार्क इवैलुएशन सबमिट कर सकते हैं, जिसस...
AI संकेत
openai.comCreate a landscape editorial hero image for this Studio Global article: Search & fact-check with cited sources for What does Google's July 8, 2026 update to Android Bench reveal about the new top-ranked AI model. Article summary: On **July 8, 2026**, Google issued a major update to **Android Bench** — its official leaderboard for evaluating LLMs on real-world Android development tasks. The update includes a new #1 ranked model, a switch to the op. Topic tags: general, documentation, general web, user generated. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks,
7 जुलाई 2026 को Google ने Android Bench — एंड्रॉइड डेवलपमेंट में लार्ज लैंग्वेज मॉडल्स (LLMs) की परफॉरमेंस जांचने के लिए बने अपने आधिकारिक लीडरबोर्ड — का बड़ा अपडेट जारी किया । इस अपडेट में एक नया टॉप मॉडल, पूरी तरह से ओपन-सोर्स Harbor इवैलुएशन फ्रेमवर्क पर माइग्रेशन, कम्युनिटी कंट्रीब्यूशन सिस्टम, और एक नई लीडरबोर्ड शामिल है जो खर्च और सटीकता के बीच साफ ट्रेड-ऑफ दिखाती है
।
नया टॉप मॉडल: Anthropic का Claude Fable 5
Android Bench में अब Claude Fable 5 84.5 स्कोर के साथ पहले स्थान पर है, जो दूसरे मॉडल से 4 अंकों से भी अधिक की बढ़त है । यह स्कोर लगभग 39,000 ओपन-सोर्स पुल रिक्वेस्ट के पूल से चुने गए 100 वास्तविक Android कोडिंग टास्क पर मॉडल की सटीकता को दर्शाता है
।
Fable 5 ने इंडस्ट्री-वाइड कोडिंग बेंचमार्क में भी शीर्ष प्रदर्शन किया है। स्वतंत्र रिपोर्टों के अनुसार, इसने SWE-bench Verified पर 95.0% और SWE-bench Pro पर 80.0% स्कोर किया, जो पिछली पीढ़ी के मॉडलों से काफी आगे है । एजेंटिक कोडिंग बेंचमार्क Terminal-Bench 2.0 पर Fable 5 ने 84.3% सटीकता दर्ज की
। जुलाई 2026 तक कई स्वतंत्र लीडरबोर्ड Fable 5 को सबसे अच्छा AI मॉडल मानते हैं
।
पूरी रैंकिंग: GPT 5.5, Gemini 3.1 Pro और बाकी
सभी पहले रैंक किए गए मॉडलों का Harbor-आधारित नई पद्धति के तहत पुनर्मूल्यांकन किया गया, जिससे एक नई लीडरबोर्ड तैयार हुई । Android Bench के अनुसार शीर्ष दस मॉडल:
| रैंक | मॉडल | स्कोर | औसत लेटेंसी (सेकंड) | औसत लागत ($/1K टास्क) |
|---|---|---|---|---|
| 1 | Claude Fable 5 (Anthropic) | 84.5 | 8.0 | $133.20 |
| 2 | GPT 5.5 (OpenAI) | 80.2 | 15.7 | $138.30 |
| 3 | Claude Sonnet 5 (Anthropic) | 76.2 | 12.3 | $99.90 |
| 4 | GPT 5.4 (OpenAI) | 74.1 | 8.4 | $83.40 |
| 5 | Gemini 3.1 Pro Preview (Google) | 73.7 | 10.6 | $87.40 |
| 6 | Claude Opus 4.8 (Anthropic) | 72.4 | 6.7 | $88.00 |
| 7 | GLM 5.2 | 72.2 | 38.9 | $117.00 |
| 8 | Gemini 3.5 Flash (Google) | 71.1 | 28.3 | $165.60 |
| 9 | Kimi K2.7 Code | 70.4 | 31.8 | $48.10 |
| 10 | — | — | — | — |
स्रोत: 9to5Google की Android Bench की नई रैंकिंग पर रिपोर्ट
अपडेटेड स्टैंडिंग से महत्वपूर्ण निष्कर्ष:
- Anthropic के पास शीर्ष छह में तीन मॉडल (Fable 5, Sonnet 5, Opus 4.8) हैं, जो इसे सबसे मजबूत लाइनअप बनाता है
।
- OpenAI का GPT 5.5 80.2 स्कोर के साथ सबसे करीबी प्रतिद्वंद्वी है, लेकिन Fable 5 से 4.3 अंक पीछे है और इसकी लेटेंसी लगभग दोगुनी है
।
- Google का खुद का Gemini 3.1 Pro Preview 73.7 स्कोर के साथ 5वें स्थान पर है, जो Anthropic के दोनों टॉप मॉडल और OpenAI के दोनों मॉडल से पीछे है
। हल्का Gemini 3.5 Flash 71.1 स्कोर के साथ और काफी अधिक लागत और लेटेंसी के साथ और नीचे है
।
- Kimi K2.7 Code टॉप 10 में सबसे कम लागत ($48.10) लेकिन सबसे कम सटीकता (70.4) प्रदान करता है, जो लागत-बनाम-सटीकता के सबसे साफ ट्रेड-ऑफ को दर्शाता है
।
Harbor फ्रेमवर्क पर माइग्रेशन
Google ने Android Bench को Harbor फ्रेमवर्क पर मानकीकृत किया है, जो Laude Institute (Terminal-Bench के पीछे की टीम) द्वारा विकसित एक ओपन-सोर्स इवैलुएशन इकोसिस्टम है । पहले Android Bench कस्टम mini-swe-agent v1 हार्नेस का उपयोग करता था। Harbor एक मानकीकृत, कंटेनर-आधारित इवैलुएशन पाइपलाइन प्रदान करता है जो क्लाउड डिप्लॉयमेंट, कम्युनिटी टास्क सबमिशन और रीइन्फोर्समेंट लर्निंग रोलआउट को सपोर्ट करता है
।
इस माइग्रेशन का मतलब है कि पिछले सभी मॉडल स्कोर अब तुलनीय नहीं हैं — ऊपर दिए गए सभी स्कोर Harbor पद्धति के तहत ताजा मूल्यांकन हैं । Google ने कहा कि यह कदम LLMs के तेजी से सुधार के बीच इवैलुएशन मानकों को अत्याधुनिक बनाए रखने के लिए जरूरी था
।
डेवलपर कंट्रीब्यूशन की शुरुआत
पहली बार, Google ने Android Bench को कम्युनिटी कंट्रीब्यूशन के लिए खोल दिया है । डेवलपर्स अब:
- वास्तविक Android डेवलपमेंट टास्क बेंचमार्क डेटासेट में जोड़ने के लिए सबमिट कर सकते हैं
।
- समान Harbor टूलिंग का उपयोग करके मॉडलों के अपने बेंचमार्क इवैलुएशन साझा कर सकते हैं, जिससे व्यक्तिगत उपयोग के मामलों के लिए सीधी तुलना संभव हो सके
।
Google ने इसे डेवलपर्स की "हमारे डेटासेट पर फीडबैक प्रदान करने का तरीका" की मांग के जवाब और Android डेवलपमेंट समुदाय के साथ गहरे सहयोग की दिशा में एक कदम बताया ।
लागत बनाम सटीकता के ट्रेड-ऑफ
नई लीडरबोर्ड एक बाजार दिखाती है जहां लागत में अग्रणी और सटीकता में अग्रणी के बीच बड़ा अंतर है :
- सबसे सटीक मॉडल (Claude Fable 5, 84.5) की लागत $133.20 प्रति 1K टास्क है।
- टॉप 10 में सबसे सस्ता मॉडल (Kimi K2.7 Code, $48.10) केवल 70.4 स्कोर करता है, जो 14.1 अंकों का अंतर है।
- Gemini 3.5 Flash सबसे महंगा विकल्प ($165.60) है लेकिन केवल 71.1 स्कोर करता है।
- GPT 5.5 उच्च सटीकता और मध्यम लागत का सबसे अच्छा संतुलन प्रदान करता है: 80.2 पर $138.30।
- Claude Sonnet 5 एक मिड-रेंज वैल्यू प्ले प्रदान करता है: 76.2 पर $99.90।
प्रतिस्पर्धी गतिशीलता
जुलाई 2026 का अपडेट Anthropic, OpenAI और Google के बीच त्रिपक्षीय दौड़ को मजबूत करता है :
- Anthropic शुद्ध सटीकता में स्पष्ट नेता है। Fable 5 का 84.5 स्कोर और टॉप 6 में तीन मॉडलों के साथ Anthropic की गहराई दिखाती है कि Android-विशिष्ट कोडिंग क्षमता में इसका निवेश रंग ला रहा है
।
- OpenAI GPT 5.5 (80.2) के साथ सबसे मजबूत एकल-मॉडल प्रतियोगी है, और GPT 5.4 (74.1) एक सम्मानजनक स्थिति रखता है, लेकिन OpenAI में Anthropic जैसी लाइनअप गहराई नहीं है
।
- Google की Gemini लाइन दोनों प्रतियोगियों से सटीकता में पीछे है। अपने स्वयं के बेंचमार्क के मालिक होने के बावजूद, Google के अपने मॉडल 5वें और 8वें स्थान पर हैं — एक प्रतिस्पर्धी कमजोरी जिसे कंपनी बेंचमार्क को समुदाय के लिए खोलकर और तीसरे पक्ष के मॉडल सबमिशन को आमंत्रित करके सार्वजनिक रूप से स्वीकार कर रही है
।
यह पहला Android Bench अपडेट है जहां एक Anthropic मॉडल Google के अपने बेंचमार्क में Android कोडिंग के लिए आगे है, जो मोबाइल AI असिस्टेंट मार्केट में एक प्रतीकात्मक बदलाव है।
Studio Global AI
Search, cite, and publish your own answer
Use this topic as a starting point for a fresh source-backed answer, then compare citations before you share it.
लोग पूछते भी हैं
"Anthropic का Claude Fable 5 Google के Android Bench पर टॉप पर, हर कीमत व स्पीड की पूरी जानकारी" का संक्षिप्त उत्तर क्या है?
7 जुलाई 2026 को Google ने Android Bench को अपडेट किया और Anthropic का Claude Fable 5 मॉडल 84.5% स्कोर के साथ पहले स्थान पर पहुंच गया, साथ ही पुराने सभी स्कोर अब तुलनीय नहीं रहे क्योंकि बेंचमार्क Harbor फ्रेमवर्क पर शि...
सबसे पहले सत्यापित करने योग्य मुख्य बिंदु क्या हैं?
7 जुलाई 2026 को Google ने Android Bench को अपडेट किया और Anthropic का Claude Fable 5 मॉडल 84.5% स्कोर के साथ पहले स्थान पर पहुंच गया, साथ ही पुराने सभी स्कोर अब तुलनीय नहीं रहे क्योंकि बेंचमार्क Harbor फ्रेमवर्क पर शि... पहली बार, डेवलपर्स अब Android Bench में अपने टास्क और बेंचमार्क इवैलुएशन सबमिट कर सकते हैं, जिससे समुदाय की भागीदारी बढ़ेगी।
मुझे अभ्यास में आगे क्या करना चाहिए?
कॉस्ट एनालिसिस से पता चलता है कि टॉप मॉडल (Claude Fable 5) पर 1,000 टास्क का खर्च $133.20 है, जबकि सबसे सस्ते टॉप 10 मॉडल (Kimi K2.7 Code) का खर्च $48.10 है लेकिन उसका स्कोर 14.1 अंक कम है।
सूत्र
- developer.android.comAndroid Bench | Android Developers
- 9to5google.comGoogle is changing how it judges AI models for Android ...
- developer.android.comAndroid Bench methodology - Android Developers
- android-developers.googleblog.comTop 3 updates for Android developer productivity
- developers.googleblog.comAll the news from the Google I/O 2026 Developer keynote
- gigazine.netGoogle launches 'Android Bench,' an AI performance comparison ...
- waytoclawearn.comClaude Fable 5 Developer Guide: SWE-bench 95%, Pricing & the Silent Sabotage Controversy
- llm-stats.comClaude Fable 5: Review, Benchmarks and Pricing
- morphllm.comClaude Benchmarks (2026): Fable 5 Hits 95% SWE-bench Verified ...
- benchlm.aiAgentic Benchmarks 2026: Tool Use, Browsing, Computer Use
- benchlm.aiBest AI Models Overall (2026) — Ranked by Benchmark Data
- buildfastwithai.comBest AI Models of July 2026: Ranked by Use Case, Benchmarks ...
- tbench.aiIntroducing Terminal-Bench 2.0 and Harbor
- github.comHarbor is a framework for running agent evaluations and ...
- quesma.comMigrating CompileBench to Harbor: standardizing AI agent evals
- modelpricewatch.combenchmarks.json
- android-developers.googleblog.comAndroid Studio I/O Edition: What's new in Android Developer tools
- developer.android.comHome | Android Developers' Blog
- developer.android.comAndroid experimental features | Latest updates - Android Developers
- viblo.asia17 thông báo quan trọng cho Android developer tại Google I/O 2026
- insights.marvin-42.comGoogle releases Android Bench to measure LLM performance on ...
- github.comVisualize Results
- android-developers.googleblog.comElevating AI-assisted Android development and improving ...
- linkedin.com#android | Justin Mancinelli - LinkedIn
- moneycontrol.comIs Anthropic Claude Fable 5 better than Gemini 3.1 Pro and GPT 5.5 ...
- 9to5google.comGemini 3.5 Flash lands on Google's Android coding rankings, but it's 3x the cost for slower performance
- vellum.aiLLM Leaderboard 2026 - Vellum