Gemini 4 के बेंचमार्क अच्छे, लेकिन कुछ कोडिंग कामों में प्रदर्शन पर सवाल

Bloomberg के अनुसार, Gemini 4 ने AI मॉडल की क्षमता परखने के लिए आम तौर पर इस्तेमाल होने वाले बेंचमार्क पर अच्छा प्रदर्शन किया। लेकिन मॉडल तक सीधी पहुँच रखने वाले कुछ कर्मचारियों ने कहा कि असल काम में, खासकर कुछ कोडिंग कार्यों के दौरान, यह उतना अच्छा नहीं चला। ये बातें गुमनाम कर्मचारियों के हवाले से आई हैं; इन्हें मॉडल की हर क्षमता का निर्णायक या स्वतंत्र आकलन नहीं माना जा सकता। 7

बेंचमार्क के अच्छे नतीजे पूरी तस्वीर क्यों नहीं बताते

बेंचमार्क एक जैसे तय मानकों पर मॉडल को परखते हैं, जबकि कर्मचारी प्रतिक्रिया उन कामों के अनुभव पर आधारित होती है जिन्हें उन्होंने खुद आजमाया। Bloomberg की रिपोर्ट से इतना संकेत मिलता है कि अच्छे बेंचमार्क स्कोर के बावजूद Google के भीतर कोडिंग प्रदर्शन को लेकर कुछ संदेह थे। इससे यह साबित नहीं होता कि Gemini 4 हर तरह के वास्तविक उपयोग में कमजोर है। 7

यह सवाल Google के लिए इसलिए अहम है क्योंकि कंपनी AI कोडिंग टूल बनाने की दौड़ में है। Bloomberg ने पहले रिपोर्ट किया था कि Google के कुछ अधिकारी प्रतिद्वंद्वियों से पीछे छूटने को लेकर चिंतित थे। उसी रिपोर्ट के मुताबिक, Anthropic के कोडिंग टूल कुछ स्रोतों की नजर में ज्यादा प्रभावी थे और कारोबारों के बीच लोकप्रिय हो रहे थे। 4

Anthropic और OpenAI से मुकाबले की पृष्ठभूमि

जुलाई की एक अलग रिपोर्ट में Bloomberg ने बताया था कि Gemini 3.5 Pro तय समय से महीनों पीछे चल रहा था और Google उसकी क्षमताएँ—खास तौर पर कोडिंग—बेहतर करने पर काम कर रहा था। उस रिपोर्ट में उद्धृत कर्मचारियों ने चिंता जताई थी कि Anthropic और OpenAI ऐसे मॉडल बना रहे हैं जो Gemini की क्षमताओं से आगे निकल सकते हैं। 1 Reuters ने भी लिखा था कि Gemini 3.5 Pro को AI कोडिंग टूल और एजेंटिक AI कार्यों में प्रतिस्पर्धा के लिए Google की स्थिति मजबूत करने के उद्देश्य से बनाया गया था। 2

ये पुरानी रिपोर्टें मुकाबले का संदर्भ देती हैं, लेकिन वे Gemini 3.5 Pro से जुड़ी थीं। उनसे यह साबित नहीं होता कि Gemini 4 में भी वही कमियाँ हैं या Google AI की दौड़ हार चुका है। उपलब्ध स्रोत यह भी नहीं बताते कि Gemini 4 को लेकर कर्मचारियों की चिंताओं का Google के किसी खास उत्पाद या ग्राहक पर क्या असर पड़ेगा। 247

क्या Gemini 3.5 Pro को छोड़ दिया गया था?

उपलब्ध रिपोर्टों के मुताबिक, Google ने Gemini 3.5 Pro की क्षमताएँ, विशेषकर कोडिंग, बेहतर करने के लिए उसकी रिलीज़ में देरी की थी। लेकिन इन रिपोर्टों से यह स्थापित नहीं होता कि कंपनी ने मॉडल को रद्द कर दिया या छोड़ दिया। 12

देरी को रद्द किए जाने का सबूत नहीं समझना चाहिए। इसी तरह, Gemini 3.5 Pro से जुड़ी खबरों को Gemini 4 के प्रदर्शन की पुष्टि मानना भी ठीक नहीं होगा—Gemini 4 पर Bloomberg की रिपोर्ट अलग कर्मचारियों की चिंताओं के बारे में है। 17

Google ने क्या जवाब दिया?

Bloomberg की रिपोर्ट को उद्धृत करते हुए ZeroHedge ने बताया कि Google ने कोडिंग में Gemini 4 के कमजोर प्रदर्शन का वर्णन “गलत” कहा। इस तरह कंपनी का जवाब गुमनाम कर्मचारियों के बयानों से अलग था। दिए गए स्रोतों में ऐसा कोई स्वतंत्र सार्वजनिक परीक्षण नहीं है जो इस मतभेद का अंतिम उत्तर दे। 57

समय का संदर्भ भी अहम है। Bloomberg ने Gemini 4 की रिलीज़ से पहले कंपनी के भीतर संदेह की खबर दी थी। वहीं उसी दिन की एक रिपोर्ट के मुताबिक, Google ने Gemini 4 Argon का परिचय दिया, लेकिन आम लोगों के लिए उपलब्धता की समय-सीमा नहीं बताई। 710

Alphabet के शेयरों पर क्या असर पड़ा?

रिपोर्ट के बाद Alphabet के शेयरों ने दिन की कुछ बढ़त गंवाई। Investing.com का हवाला देने वाली खबर के मुताबिक, शेयर पहले 2% से अधिक ऊपर थे, लेकिन बाजार बंद होने के करीब उनकी बढ़त घटकर लगभग 0.5% रह गई। यानी उनकी बढ़त कम हुई, पर वे पिछले बंद स्तर से नीचे नहीं गए। 9

रिपोर्ट से क्या पता चलता है—और क्या नहीं

रिपोर्ट Google के सामने एक अहम सवाल रखती है: क्या Gemini 4 के अच्छे बेंचमार्क नतीजे कर्मचारियों द्वारा आजमाए गए कोडिंग कार्यों में भी दिखते हैं? फिलहाल उपलब्ध जानकारी गुमनाम कर्मचारियों की प्रतिक्रियाओं और Google के खंडन पर आधारित है, न कि संपूर्ण सार्वजनिक मूल्यांकन पर। Gemini 3.5 Pro की देरी प्रतिस्पर्धा का संदर्भ देती है, लेकिन न तो यह साबित करती है कि वह मॉडल छोड़ दिया गया था, न यह कि Gemini 4 हर मोर्चे पर प्रतिद्वंद्वियों से पीछे है। 157