एआई कोडिंग टूल्स: 19% धीमे, 1.7 गुना ज़्यादा बग, फिर भी डेवलपर्स इनके बिना काम करने से इनकार क्यों कर रहे हैं?

METR ने बाद में 2026 की शुरुआत में अध्ययन के डिज़ाइन पर दोबारा गौर किया, और कार्य विविधता के लिए समायोजन किया। संशोधित विश्लेषण में 6% की मामूली सैंपल-वाइड गति वृद्धि पाई गई, लेकिन इसमें अत्यधिक भिन्नता थी: कुछ डेवलपर्स ने कुछ कार्यों पर 25% तक की बढ़त हासिल की, जबकि अन्य शुद्ध रूप से धीमे ही रहे। मूल निष्कर्ष कायम रहा: एआई का लाभ अत्यधिक कार्य-निर्भर है, और स्व-रिपोर्ट की गई गति एक विश्वसनीय मीट्रिक नहीं है।

CodeRabbit: एआई कोड गुणवत्ता में खामियाँ (1.7 गुना ज़्यादा मुद्दे)

अगर कार्य पूरा होने के समय के आँकड़े अस्पष्ट हैं, तो कोड गुणवत्ता का डेटा ज़्यादा स्पष्ट है। CodeRabbit की ऐतिहासिक "स्टेट ऑफ़ एआई वर्सेस ह्यूमन कोड जनरेशन" रिपोर्ट ने ओपन-सोर्स प्रोजेक्ट्स में 470 वास्तविक गिटहब पुल रिक्वेस्ट का विश्लेषण किया — जिनमें 320 एआई-कोऑथर्ड और 150 केवल मानव-लिखित थीं।

मुख्य बात चौंकाने वाली है: एआई-जनरेटेड पुल रिक्वेस्ट में मानव-लिखित कोड की तुलना में औसतन ~1.7 गुना ज़्यादा मुद्दे थे (प्रति पीआर 10.83 मुद्दे बनाम 6.45)। गुणवत्ता की कमी केवल शैली या फ़ॉर्मेटिंग तक सीमित नहीं थी। यह उन क्षेत्रों में केंद्रित थी जो वास्तविक घटनाओं का कारण बनते हैं:

• तर्क और शुद्धता संबंधी त्रुटियाँ एआई-जनरेटेड पीआर में 75% अधिक थीं।
• पठनीयता संबंधी मुद्दे 3 गुना से अधिक बढ़ गए।
• एरर हैंडलिंग की कमियाँ लगभग 2 गुना अधिक पाई गईं।
• सुरक्षा कमज़ोरियाँ मानव-लिखित कोड की तुलना में 2.74 गुना अधिक थीं।

CodeRabbit के विश्लेषण ने एआई-लेखक वाले कोड के लिए एक "भारी समीक्षा पूंछ" की भी पहचान की, जिसका अर्थ है कि मानव समीक्षकों ने एआई-जनरेटेड बदलावों में समस्याओं को खोजने और उनका निदान करने में असम्मानित रूप से अधिक समय बिताया। जैसा कि रिपोर्ट के लेखकों ने कहा, मनुष्य और एआई एक जैसी गलतियाँ करते हैं — एआई बस उनमें से कई को अधिक बार और बड़े पैमाने पर करता है।

यह पैटर्न CodeRabbit की इस व्यापक टिप्पणी से मेल खाता है कि 2025 एआई की गति से परिभाषित हुआ, लेकिन 2026 को एआई गुणवत्ता का वर्ष बनना होगा। पोस्टमॉर्टम और परिचालन घटनाओं ने तेजी से एआई सहायकों द्वारा पेश की गई सूक्ष्म तर्क त्रुटियों, कॉन्फ़िगरेशन की अनदेखी और डिज़ाइन की गलतफहमियों की ओर इशारा किया।

टोकन की बर्बादी: एआई का हर डॉलर बग्स और रीवर्क में 82 सेंट खो देता है

गुणवत्ता की कमी सीधे वित्तीय बर्बादी में बदल जाती है। डेवलपर उत्पादकता प्लेटफ़ॉर्म Entelligence.AI ने 2,444 कंपनियों से डेटा एकत्र किया और एक ऐसा ब्यौरा तैयार किया जो इंजीनियरिंग हलकों में गूंज उठा है:

दूसरे शब्दों में, एआई टोकन पर खर्च हर डॉलर का 82 सेंट बग्स, रीवर्क और समीक्षा ओवरहेड में चला जाता है। केवल 18 सेंट उपयोगकर्ता-सामना मूल्य प्रदान करता है। यह लागत सैद्धांतिक नहीं है। Uber ने अपना पूरा 2026 का एआई कोडिंग बजट चार महीनों के भीतर ख़त्म कर दिया और शून्य मापने योग्य उत्पादकता लाभ दर्ज किया। एक अनाम Uber कार्यकारी ने स्पष्ट रूप से कहा कि एआई खर्च और उत्पाद सुधार के बीच की कड़ी "अभी तक मौजूद नहीं है।"

स्टैनफोर्ड और MIT के एक पूरक अध्ययन में पाया गया कि कोड बग्स को ठीक करने वाले एआई एजेंट प्रति कार्य दस लाख से अधिक टोकन जला सकते हैं — जो मानक कोड प्रश्नोत्तर कार्यों की टोकन खपत का लगभग 1,000 गुना है। अर्थशास्त्र सुझाव देता है कि कई संगठनों के लिए, एआई अपनाने की बाद की लागतें वर्तमान में वादा किए गए उत्पादकता लाभ को खा रही हैं।

एआई निर्भरता विरोधाभास: एक धीमे टूल के आदी

शायद मनोवैज्ञानिक रूप से सबसे चौंकाने वाली खोज यह है कि जो डेवलपर्स इस डेटा का अनुभव करते हैं, वे फिर भी एआई के बिना काम करने से इनकार करते हैं। कई आउटलेट्स ने रिपोर्ट किया है कि METR अध्ययन के प्रतिभागियों ने अपने स्वयं के सुस्ती के आँकड़े दिखाए जाने के बाद भी बिना सहायता वाली कोडिंग पर लौटने का विरोध किया। इसे "एआई निर्भरता विरोधाभास" के रूप में वर्णित किया गया है — एक बार जब डेवलपर्स एआई सहायता के आदी हो जाते हैं, तो वे अपनी बिना सहायता वाली क्षमता पर विश्वास खो देते हैं, तब भी जब टूल उन्हें प्रदर्शनकारी रूप से धीमा कर रहा हो।

जैसा कि एक डेवलपर ने कहा, एआई "उबाऊ हिस्सों को संभालता है — बॉयलरप्लेट, सिंटैक्स, वह सामान जो काम जैसा लगता है लेकिन जहाँ असली कठिनाई नहीं होती।" यह टूल कोडिंग को तेज़ महसूस कराता है, भले ही स्टॉपवॉच कुछ और कहे, क्योंकि घर्षण प्रारंभिक ड्राफ्ट लिखने से हटकर सावधानीपूर्वक समीक्षा करने पर आ जाता है।

विशेषज्ञ अब क्या सलाह देते हैं

METR के नियंत्रित परीक्षणों, CodeRabbit के पुल रिक्वेस्ट विश्लेषण और Entelligence.AI के एंटरप्राइज़ डेटा से, सिफारिशों का एक सुसंगत सेट उभर कर आया है:

• एआई आउटपुट को एक जूनियर डेवलपर के कोड की तरह मानें। हर चीज़ की समीक्षा करें। तर्क त्रुटियों, छूटे हुए एज केसेस और सुरक्षा अंतरालों की अपेक्षा करें। बिना समीक्षा वाले एआई कोड को कभी भी डिप्लॉय न करें।
• स्वीकार करें कि एआई ड्राफ्टिंग को तो तेज़ करता है लेकिन समीक्षा का बोझ बढ़ाता है। टूल ज़्यादा कोड तेज़ी से लिखता है, लेकिन "पूर्ण" होने तक का शुद्ध समय अक्सर इस पर निर्भर करता है कि अतिरिक्त समीक्षा समय ड्राफ्टिंग की गति को पछाड़ता है या नहीं।
• वास्तविक साइकिल समय मापें, अनुमानित गति नहीं। स्व-रिपोर्ट किए गए उत्पादकता लाभ व्यवस्थित रूप से बढ़ा-चढ़ाकर बताए जाते हैं। METR ने पाया कि 2-3 गुना गति लाभ का दावा करने वाले डेवलपर्स वस्तुनिष्ठ समय लॉग से मेल नहीं खा रहे थे।
• छिपी हुई लागतों के लिए बजट बनाएँ। यदि टोकन खर्च का 44% एआई-जनित बग्स को ठीक करने में जाता है, तो संगठनों को एआई अपनाने की कुल लागत का मॉडल बनाने की ज़रूरत है, न कि केवल एपीआई बिल का।

उभरते सबूत यह सुझाव नहीं देते कि एआई कोडिंग टूल्स बेकार हैं। विशिष्ट संदर्भों में — अपरिचित कोडबेस को समझने, बॉयलरप्लेट जनरेट करने, और उन कार्यों में जहाँ डेवलपर्स ने भविष्यवाणी की थी कि एआई काफी मदद करेगा — मापने योग्य गति वृद्धि दिखाई देती है। लेकिन अपने स्वयं के परिपक्व कोडबेस पर काम करने वाले अनुभवी डेवलपर्स की व्यापक आबादी में, 2025 के मध्य से 2026 तक शुद्ध प्रभाव धीमी डिलीवरी, अधिक खामियाँ और एक ऐसी निर्भरता रहा है जो डेटा के सामने भी टिकी रहती है।