Fractile कैसे हल करना चाहता है AI का बढ़ता हुआ Inference Bottleneck

क्यों AI Inference बन रहा है असली बॉटलनेक

आज का अधिकतर AI हार्डवेयर—खासकर GPU—ट्रेनिंग के लिए अनुकूलित है। ट्रेनिंग में बड़े पैमाने पर गणितीय गणनाएँ होती हैं, जिन्हें GPU बेहद तेज़ी से कर सकते हैं। लेकिन जब मॉडल को उपयोग में लाया जाता है, तब वह इन्फरेंस मोड में काम करता है—जहाँ हर उपयोगकर्ता के प्रश्न पर लगातार नए टोकन (tokens) जनरेट होते हैं।

यह प्रक्रिया सिर्फ कंप्यूट पावर पर निर्भर नहीं करती। असली चुनौती बन जाती है:

• मेमोरी बैंडविड्थ (डेटा कितनी तेज़ी से पढ़ा जा सकता है)
• लेटेंसी (डेटा आने‑जाने में लगने वाला समय)

बड़े AI मॉडल हर टोकन बनाते समय अपने लाखों‑करोड़ों पैरामीटर और मध्यवर्ती डेटा को बार‑बार पढ़ते हैं। अगर हार्डवेयर मेमोरी से डेटा तेजी से नहीं ला पाता, तो तेज़ प्रोसेसर भी काम नहीं आते।

समस्या और बढ़ रही है क्योंकि आधुनिक AI मॉडल:

• पहले से लंबा आउटपुट देते हैं
• बहुत बड़े कॉन्टेक्स्ट विंडो संभालते हैं
• जवाब देने से पहले कई आंतरिक reasoning स्टेप चलाते हैं

कई उन्नत AI कार्यों में अब दसियों मिलियन टोकन तक प्रोसेस करने पड़ सकते हैं, जिससे इन्फरेंस की गति और भी महत्वपूर्ण हो जाती है।

इसी वजह से Fractile का तर्क है कि जल्द ही AI की असली सीमा मॉडल की क्षमता नहीं, बल्कि इन्फरेंस की गति बन सकती है।

Fractile का समाधान: मेमोरी के अंदर ही कंप्यूट

Fractile एक अलग तरह का हार्डवेयर बना रही है जिसे in‑memory compute (या memory‑near compute) कहा जाता है।

पारंपरिक AI एक्सेलरेटर—जैसे Nvidia GPU—में कंप्यूट और मेमोरी अलग‑अलग होते हैं। डेटा को लगातार मेमोरी और प्रोसेसर के बीच आना‑जाना पड़ता है, जिससे समय और ऊर्जा दोनों खर्च होते हैं।

Fractile की रणनीति है कि गणनाएँ उसी जगह की जाएँ जहाँ डेटा पहले से मौजूद है। यानी मेमोरी और कंप्यूट को बहुत करीब—या एक ही चिप पर—लाया जाए।

इस आर्किटेक्चर के मुख्य पहलू हैं:

• एक ही चिप पर मेमोरी और कंप्यूट का एकीकरण
• मेमोरी संरचनाओं के भीतर ही मॉडल ऑपरेशन चलाना
• बाहरी मेमोरी और प्रोसेसर के बीच डेटा ट्रांसफर कम करना

डेटा मूवमेंट कम होने से लेटेंसी, ऊर्जा खपत और लागत—तीनों घट सकते हैं, जो बड़े पैमाने पर AI चलाने के लिए महत्वपूर्ण हैं।

कंपनी का दावा है कि उसके सिस्टम मौजूदा हार्डवेयर की तुलना में लगभग 25 गुना तेज़ इन्फरेंस और लगभग 90% कम लागत दे सकते हैं। शुरुआती तकनीकी लक्ष्यों में कुछ मामलों में 100 गुना तेज़ और 10 गुना सस्ता प्रदर्शन भी बताया गया था, हालांकि ये अभी कंपनी के लक्ष्य हैं—स्वतंत्र रूप से सत्यापित परिणाम नहीं।

$220 मिलियन Series B फंडिंग का उपयोग कैसे होगा

Fractile की $220 मिलियन Series B फंडिंग का नेतृत्व Accel, Factorial Funds और Founders Fund ने किया। इसमें Conviction, Gigascale Capital, O1A Ventures, Felicis, Buckley Ventures और 8VC जैसे निवेशकों ने भी भाग लिया।

कंपनी इस पूंजी का उपयोग करेगी:

• अपने इन्फरेंस चिप आर्किटेक्चर को तेज़ी से विकसित करने में
• पहले हार्डवेयर सिस्टम को उत्पादन के करीब लाने में
• यूके, अमेरिका और ताइवान में इंजीनियरिंग टीम का विस्तार करने में

Fractile की स्थापना 2022 में ऑक्सफोर्ड‑प्रशिक्षित इंजीनियर Walter Goodwin ने की थी। कंपनी का लक्ष्य है कि दशक के अंत तक अपने पहले सिस्टम ग्राहकों तक पहुंचाए जाएँ।

कुछ रिपोर्टों में यह भी कहा गया है कि Anthropic जैसी AI कंपनियों के साथ संभावित उपयोग को लेकर शुरुआती बातचीत हुई है, हालांकि अभी कोई आधिकारिक व्यावसायिक समझौता घोषित नहीं हुआ है।

तेज़ Inference से कौन‑से नए AI उपयोग संभव हो सकते हैं

अगर Fractile जैसी तकनीकें वास्तव में इन्फरेंस को बहुत तेज़ बना देती हैं, तो कई नए प्रकार के AI उपयोग सामने आ सकते हैं।

1. बड़े Reasoning मॉडल

नए AI मॉडल अक्सर जवाब देने से पहले कई संभावित समाधान तलाशते हैं और उन्हें सत्यापित करते हैं। तेज़ इन्फरेंस से मॉडल रन‑टाइम पर अधिक कंप्यूट खर्च कर सकेंगे—जिसे कभी‑कभी test‑time compute कहा जाता है।

2. लगभग रियल‑टाइम AI असिस्टेंट

कन्वर्सेशनल AI में प्रतिक्रिया की देरी अनुभव को प्रभावित करती है। यदि टोकन जनरेशन तेज़ हो जाए तो AI सहायक मानव बातचीत के करीब महसूस हो सकते हैं।

3. Agentic AI सिस्टम

स्वायत्त AI एजेंट कई चरणों वाले कार्य करते हैं—जैसे टूल कॉल, कोड जनरेशन और कई बार reasoning लूप। ऐसे कार्यों में बहुत बड़े टोकन बजट की आवश्यकता होती है, इसलिए इन्फरेंस की गति महत्वपूर्ण है।

4. बड़े पैमाने पर एंटरप्राइज़ AI

कंपनियाँ जो AI copilots, ग्राहक सहायता बॉट या API आधारित मॉडल सेवाएँ चलाती हैं, उन्हें उच्च थ्रूपुट और कम लागत प्रति टोकन की जरूरत होती है। विशेष इन्फरेंस हार्डवेयर इन लागतों को काफी कम कर सकता है।

बड़ा सवाल: क्या यह तकनीक बड़े पैमाने पर काम करेगी?

Fractile का दृष्टिकोण एक व्यापक उद्योग प्रवृत्ति को दर्शाता है—जैसे‑जैसे AI शोध से निकलकर वास्तविक उत्पादों में प्रवेश कर रहा है, इन्फरेंस दक्षता उतनी ही महत्वपूर्ण बन रही है जितनी ट्रेनिंग क्षमता।

फिर भी एक चुनौती बनी हुई है। कंपनी के कई प्रदर्शन दावे अभी लक्ष्य या अनुमान हैं, जिन्हें बड़े पैमाने पर स्वतंत्र परीक्षणों से साबित किया जाना बाकी है। नई चिप आर्किटेक्चर बनाना—और उसे Nvidia जैसे स्थापित GPU इकोसिस्टम से प्रतिस्पर्धा में लाना—तकनीकी और व्यावसायिक दोनों दृष्टि से कठिन होता है।

फिर भी इतना स्पष्ट है कि निवेशकों की दिलचस्पी बढ़ रही है। कई विशेषज्ञ मानते हैं कि AI की अगली बड़ी छलांग शायद और बड़े मॉडल से नहीं, बल्कि उन्हें कहीं अधिक तेज़ चलाने वाली तकनीक से आएगी।