उत्तरप्रकाशित21 स्रोत
GPU की सीमा को चुनौती: कैसे Kog सिर्फ़ सॉफ़्टवेयर से 30 गुना तेज़ LLM इन्फ़रेंस का दावा कर रहा है
Kog ने सिर्फ़ सॉफ़्टवेयर ऑप्टिमाइज़ेशन के ज़रिए 8× AMD MI300X GPU पर 3,000 आउटपुट टोकन प्रति सेकंड प्रति रिक्वेस्ट हासिल किया है — बिना क्वांटाइज़ेशन, स्पेकुलेटिव डिकोडिंग या कस्टम हार्डवेयर के। इसकी मुख्य तकनीक 'डिलेड टेंसर पैरेललिज़्म (DTP)' है, जो GPU के बीच डेटा ट्रांसफ़र को कंप्यूटेशन के साथ ओवरलैप करती है, जिस...
प्रकाशितकर्ताDeepSeek-V4-Flash से संपादितGPT Image 1.5 से चित्र बनाए गए
शोध उत्तर
मुख्य निष्कर्ष
- Kog ने सिर्फ़ सॉफ़्टवेयर ऑप्टिमाइज़ेशन के ज़रिए 8× AMD MI300X GPU पर 3,000 आउटपुट टोकन प्रति सेकंड प्रति रिक्वेस्ट हासिल किया है — बिना क्वांटाइज़ेशन, स्पेकुलेटिव डिकोडिंग या कस्टम हार्डवेयर के।
- इसकी मुख्य तकनीक 'डिलेड टेंसर पैरेललिज़्म (DTP)' है, जो GPU के बीच डेटा ट्रांसफ़र को कंप्यूटेशन के साथ ओवरलैप करती है, जिससे हर लेयर पर होने वाली रुकावट खत्म हो जाती है।
- हालांकि, Kog का 30x का दावा अभी 2.3 बिलियन पैरामीटर वाले छोटे मॉडल पर ही साबित हुआ है। असली परीक्षा 70B+ मॉडल पर इसे साबित करना होगा, जो अगले कुछ महीनों में अपेक्षित है।
AI संकेत
openai.comCreate a landscape editorial hero image for this Studio Global article: What is Kog's approach to achieving up to 30x faster LLM inference on existing GPUs, how does its software-first strategy work, what results. Article summary: ## Kog's Approach and Results. Topic tags: general, documentation, general web, user generated, academic. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fake numbers, clickbait thumbnails, icons, and tiny thumbnail layouts. Make it useful as an illustrative visual, not as factual evidence.
Kog एक फ़्रांसीसी स्टार्टअप है जो दावा करता है कि वह मौजूदा डेटासेंटर GPU पर LLM इन्फ़रेंस को 30 गुना तक तेज़ कर सकता है। यह किसी नए ASIC या महँगे हार्डवेयर के बजाय एक गहरे, सॉफ़्टवेयर-फर्स्ट ऑप्टिमाइज़ेशन स्टैक का उपयोग करता है, जो तीन परतों को एक साथ डिज़ाइन करता है: कस्टम मॉडल आर्किटेक्चर (Laneformer), एक सिंगल-कर्नल इन्फ़रेंस इंजन (KIE), और एक कस्टम कम्युनिकेशन लेयर (KCCL)।
यह तीन परतों को एक सह-डिज़ाइन सिस्टम के रूप में मानता है, न कि अलग-अलग हिस्सों के रूप में:
- मोनोकर्नल (एक ही लगातार CUDA कर्नल): पूरी LLM डीकोड प्रक्रिया एक ही कर्नल के रूप में चलती है, जिसमें लेयरों के बीच कोई रुकावट या नया कर्नल लॉन्च नहीं होता। इससे GPU की लॉन्च ओवरहेड पूरी तरह खत्म हो जाती है।
Studio Global AI
अपना शोध जारी रखें
इस पृष्ठ में एक स्रोत-समर्थित उत्तर शामिल है जिसे आप Studio Global के अंदर जारी रख सकते हैं।
लोग पूछते भी हैं
"GPU की सीमा को चुनौती: कैसे Kog सिर्फ़ सॉफ़्टवेयर से 30 गुना तेज़ LLM इन्फ़रेंस का दावा कर रहा है" का संक्षिप्त उत्तर क्या है?
Kog ने सिर्फ़ सॉफ़्टवेयर ऑप्टिमाइज़ेशन के ज़रिए 8× AMD MI300X GPU पर 3,000 आउटपुट टोकन प्रति सेकंड प्रति रिक्वेस्ट हासिल किया है — बिना क्वांटाइज़ेशन, स्पेकुलेटिव डिकोडिंग या कस्टम हार्डवेयर के।
सबसे पहले सत्यापित करने योग्य मुख्य बिंदु क्या हैं?
Kog ने सिर्फ़ सॉफ़्टवेयर ऑप्टिमाइज़ेशन के ज़रिए 8× AMD MI300X GPU पर 3,000 आउटपुट टोकन प्रति सेकंड प्रति रिक्वेस्ट हासिल किया है — बिना क्वांटाइज़ेशन, स्पेकुलेटिव डिकोडिंग या कस्टम हार्डवेयर के। इसकी मुख्य तकनीक 'डिलेड टेंसर पैरेललिज़्म (DTP)' है, जो GPU के बीच डेटा ट्रांसफ़र को कंप्यूटेशन के साथ ओवरलैप करती है, जिससे हर लेयर पर होने वाली रुकावट खत्म हो जाती है।
मुझे अभ्यास में आगे क्या करना चाहिए?
हालांकि, Kog का 30x का दावा अभी 2.3 बिलियन पैरामीटर वाले छोटे मॉडल पर ही साबित हुआ है। असली परीक्षा 70B+ मॉडल पर इसे साबित करना होगा, जो अगले कुछ महीनों में अपेक्षित है।