Red Hat AI 3.5 के साथ Red Hat ने एंटरप्राइज़ एआई संचालन को प्रोडक्शन-स्केल बनाने पर जोर दिया

Red Hat ने Red Hat AI 3.5 की जनरल अवेलेबिलिटी के साथ एंटरप्राइज़ एआई को केवल अलग-अलग पायलट प्रोजेक्ट्स के रूप में नहीं, बल्कि हाइब्रिड वातावरण में चलने वाली नियंत्रित, ऑब्ज़र्वेबल और मल्टी-टेनेंट प्रोडक्शन सेवा के रूप में संचालित करने का लक्ष्य रखा है। रिलीज़ का मुख्य संदेश है: मॉडल को डिप्लॉय करने से पहले भरोसे की जांच, महंगे साझा GPU संसाधनों का कुशल संचालन और ऐप्लिकेशन व इन्फरेंस की दोहराई जा सकने वाली तैनाती। 168

प्रोडक्शन में जाने से पहले मॉडल का भरोसा जांचना

EvalHub अब जनरल अवेलेबल है। इसका उपयोग ग्राहक द्वारा बनाए या अनुकूलित किए गए मॉडल, RAG (रिट्रीवल-ऑगमेंटेड जेनरेशन) पाइपलाइन और एआई एजेंटों के लिए स्वचालित, जोखिम-केंद्रित सुरक्षा बेंचमार्किंग तथा ऑडिट योग्य अनुपालन प्रमाणन में किया जा सकता है। इससे टीमों को डिप्लॉयमेंट से पहले प्रॉम्प्ट इंजेक्शन और जेलब्रेक जैसे जोखिमों की जांच करने में मदद मिलती है। 138

Red Hat ने सत्यापित मॉडलों के अपने कैटलॉग में Google, NVIDIA और Alibaba Cloud सहित प्रदाताओं के 20 से अधिक नए मॉडल जोड़े हैं। इनके साथ सुरक्षा, व्यक्तिगत पहचान योग्य जानकारी (PII) के संभावित एक्सपोज़र और टॉक्सिसिटी जोखिम से जुड़ी जानकारी उपलब्ध कराई गई है। उद्देश्य यह है कि प्लेटफ़ॉर्म टीमें हर मॉडल के लिए अलग मूल्यांकन प्रक्रिया शुरू करने के बजाय, चयन के लिए साक्ष्य-आधारित आधार पा सकें। 34

साझा GPU पर किसे कितनी क्षमता मिलेगी

एंटरप्राइज़ एआई में GPU क्षमता महंगी और सीमित होती है। AI 3.5 में फेयर-शेयर शेड्यूलिंग, प्राथमिकता-सचेत सर्विंग, एडमिशन कंट्रोल और प्राथमिकता-आधारित रिक्वेस्ट रूटिंग शामिल हैं। इनका मकसद किसी एक वर्कलोड या टीम को पूरी GPU क्षमता पर कब्ज़ा करने से रोकना है।

प्रति उपयोगकर्ता टोकन मीटरिंग के साथ ये नियंत्रण सेवा-स्तर की प्राथमिकता तय करने और टीम-आधारित चार्जबैक या शोबैक में भी उपयोगी हो सकते हैं। 45

चल रहे एआई सिस्टम की निगरानी

नए ऑब्ज़र्वेबिलिटी डैशबोर्ड इन्फरेंस की सेहत, GPU उपयोग और मॉडल-परफॉर्मेंस संकेतकों को दिखाते हैं। इससे प्लेटफ़ॉर्म ऑपरेटर एआई सेवा चलने के दौरान क्षमता, उपलब्धता और गुणवत्ता से जुड़ी समस्याओं को पहचान सकते हैं। 416

RAG और एजेंट बनाने वाली टीमों के लिए क्या बदला

AutoRAG में गैर-अंग्रेज़ी और मिश्रित-भाषा दस्तावेज़ संग्रह के लिए बहुभाषी समर्थन जोड़ा गया है। इसमें भाषा पहचान और प्रयोग कॉन्फ़िगरेशन जैसी क्षमताएं शामिल हैं। Red Hat ने इसे एंटरप्राइज़ डेटा से जानकारी निकालने, संवादात्मक परीक्षण और एजेंटिक ऐप्लिकेशन के उपयोग के लिए रखा है।

वहीं, AI Hub टेम्पलेट्स कोड रिव्यू, दस्तावेज़ प्रोसेसिंग और रिसर्च वर्कफ़्लो जैसी जरूरतों के लिए शुरुआती आर्किटेक्चर उपलब्ध कराते हैं। 113

अलग-अलग एक्सेलरेटर और Kubernetes प्लेटफ़ॉर्म पर इन्फरेंस

Red Hat AI Inference 3.5, NVIDIA CUDA, AMD ROCm, Google TPU, Intel Gaudi और IBM Spyre एक्सेलरेटर के लिए अनुकूलित इन्फरेंस इमेज सपोर्ट करता है। 38

llm-d के साथ डिस्ट्रिब्यूटेड इन्फरेंस को Azure Kubernetes Service (AKS) और CoreWeave Kubernetes Service (CKS) पर समर्थित डिप्लॉयमेंट के रूप में उपलब्ध कराया गया है। Amazon EKS पर इन्फरेंस-अवेयर शेड्यूलिंग अभी टेक्नोलॉजी प्रीव्यू है। 384

यह अंतर महत्वपूर्ण है: टेक्नोलॉजी प्रीव्यू फीचर को Red Hat के प्रोडक्शन SLA का समर्थन नहीं मिलता और उसे प्रोडक्शन उपयोग के लिए अनुशंसित नहीं किया जाता, जबकि Azure और CoreWeave वाले मार्ग समर्थित हैं। 84

NVIDIA के साथ AI Factory का व्यावहारिक अर्थ

Red Hat AI Factory with NVIDIA के संदर्भ में AI 3.5, NVIDIA-त्वरित इन्फ्रास्ट्रक्चर के ऊपर एक मानकीकृत ऑपरेशनल लेयर बनाने की कोशिश है। संगठन एक साझा Kubernetes-केंद्रित तरीके से मॉडल सत्यापित कर सकते हैं, GPU क्षमता को निष्पक्ष ढंग से आवंटित कर सकते हैं, मॉडल सर्विंग की निगरानी कर सकते हैं और हाइब्रिड इन्फ्रास्ट्रक्चर में डिप्लॉयमेंट कर सकते हैं।

यही वह कड़ी है जिसके जरिए Red Hat डेटा-साइंस प्रयोग और एंटरप्राइज़ संचालन के बीच आने वाले हैंडऑफ अंतर को कम करना चाहता है। 163

IBM और Red Hat की व्यापक दिशा

यह रिलीज़ IBM और Red Hat की उस रणनीति को मजबूत करती है जिसमें ओपन, हाइब्रिड-क्लाउड इन्फ्रास्ट्रक्चर को नियंत्रित एआई संचालन के साथ जोड़ा जाता है। अलग पहल के तौर पर, LTM ने IBM और Red Hat के साथ Lightwell पर सहयोग किया है, जिसका लक्ष्य ओपन-सोर्स सॉफ़्टवेयर की कमजोरियों की पहचान, प्राथमिकता निर्धारण और समाधान में उद्यमों की मदद करना है। Lightwell का फोकस जोखिमपूर्ण थर्ड-पार्टी डिपेंडेंसी से जोखिम घटाने पर है। 48

संक्षेप में, Red Hat AI 3.5 का जोर केवल तेज़ मॉडल चलाने पर नहीं है। यह उन नियंत्रणों, जांचों और ऑपरेशनल टूल्स पर केंद्रित है जिनकी जरूरत किसी संगठन को एआई को पायलट से निकालकर भरोसेमंद, साझा और बड़े पैमाने के प्रोडक्शन इंफ्रास्ट्रक्चर में बदलने के लिए पड़ती है।