उत्तरप्रकाशित5 दिन पहलेLast edited 5 दिन पहले21 स्रोत

GPU की सीमा को चुनौती: कैसे Kog सिर्फ़ सॉफ़्टवेयर से 30 गुना तेज़ LLM इन्फ़रेंस का दावा कर रहा है

Kog ने सिर्फ़ सॉफ़्टवेयर ऑप्टिमाइज़ेशन के ज़रिए 8× AMD MI300X GPU पर 3,000 आउटपुट टोकन प्रति सेकंड प्रति रिक्वेस्ट हासिल किया है — बिना क्वांटाइज़ेशन, स्पेकुलेटिव डिकोडिंग या कस्टम हार्डवेयर के। इसकी मुख्य तकनीक 'डिलेड टेंसर पैरेललिज़्म (DTP)' है, जो GPU के बीच डेटा ट्रांसफ़र को कंप्यूटेशन के साथ ओवरलैप करती है, जिस...

Studio Global AI के साथ खोजें और तथ्यों की जांच करें और ट्रेंडिंग पेज देखें

शोध उत्तर

मुख्य निष्कर्ष

Kog ने सिर्फ़ सॉफ़्टवेयर ऑप्टिमाइज़ेशन के ज़रिए 8× AMD MI300X GPU पर 3,000 आउटपुट टोकन प्रति सेकंड प्रति रिक्वेस्ट हासिल किया है — बिना क्वांटाइज़ेशन, स्पेकुलेटिव डिकोडिंग या कस्टम हार्डवेयर के।
इसकी मुख्य तकनीक 'डिलेड टेंसर पैरेललिज़्म (DTP)' है, जो GPU के बीच डेटा ट्रांसफ़र को कंप्यूटेशन के साथ ओवरलैप करती है, जिससे हर लेयर पर होने वाली रुकावट खत्म हो जाती है।
हालांकि, Kog का 30x का दावा अभी 2.3 बिलियन पैरामीटर वाले छोटे मॉडल पर ही साबित हुआ है। असली परीक्षा 70B+ मॉडल पर इसे साबित करना होगा, जो अगले कुछ महीनों में अपेक्षित है।

AI-generated illustration of a GPU with layered software and data-flow lines representing optimized LLM inference. — What is Kog's approach to achieving up to 30x faster LLM inference on existing GPUs, how does its software-first strategy work, what resultsKog's software-only strategy eliminates GPU stalls through co-designed model architecture and kernel design.
AI संकेत
Create a landscape editorial hero image for this Studio Global article: What is Kog's approach to achieving up to 30x faster LLM inference on existing GPUs, how does its software-first strategy work, what results. Article summary: ## Kog's Approach and Results. Topic tags: general, documentation, general web, user generated, academic. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fake numbers, clickbait thumbnails, icons, and tiny thumbnail layouts. Make it useful as an illustrative visual, not as factual evidence.
openai.com

Kog एक फ़्रांसीसी स्टार्टअप है जो दावा करता है कि वह मौजूदा डेटासेंटर GPU पर LLM इन्फ़रेंस को 30 गुना तक तेज़ कर सकता है। यह किसी नए ASIC या महँगे हार्डवेयर के बजाय एक गहरे, सॉफ़्टवेयर-फर्स्ट ऑप्टिमाइज़ेशन स्टैक का उपयोग करता है, जो तीन परतों को एक साथ डिज़ाइन करता है: कस्टम मॉडल आर्किटेक्चर (Laneformer), एक सिंगल-कर्नल इन्फ़रेंस इंजन (KIE), और एक कस्टम कम्युनिकेशन लेयर (KCCL)।

यह तीन परतों को एक सह-डिज़ाइन सिस्टम के रूप में मानता है, न कि अलग-अलग हिस्सों के रूप में:

मोनोकर्नल (एक ही लगातार CUDA कर्नल): पूरी LLM डीकोड प्रक्रिया एक ही कर्नल के रूप में चलती है, जिसमें लेयरों के बीच कोई रुकावट या नया कर्नल लॉन्च नहीं होता। इससे GPU की लॉन्च ओवरहेड पूरी तरह खत्म हो जाती है।
डिलेड टेंसर पैरेललिज़्म (DTP): सामान्य टेंसर पैरेललिज़्म में हर लेयर पर GPU के बीच डेटा का आदान-प्रदान (all-reduce) होता है, जिससे प्रोसेसर रुक जाता है। Kog इस all-reduce को 2 लेयर के लिए विलंबित करता है और इसे अगली लेयर के वेट स्ट्रीमिंग के साथ ओवरलैप करता है, जिससे GPU कभी खाली नहीं बैठता।

Studio Global AI

अपना शोध जारी रखें

इस पृष्ठ में एक स्रोत-समर्थित उत्तर शामिल है जिसे आप Studio Global के अंदर जारी रख सकते हैं।

Studio Global AI के साथ खोजें और तथ्यों की जांच करें

लोग पूछते भी हैं