Red Hat AI 3.5, kurumların AI pilotlarından üretim ölçeğine geçmesini hedefliyor

Red Hat, Red Hat AI 3.5'in genel kullanıma açıldığını duyurdu. Sürümün temel mesajı, yapay zekâ çalışmalarını yalnızca deneme ve pilot aşamasında tutmak değil; bunları hibrit bulut ortamlarında yönetilen, izlenebilir, çok kiracılı ve üretime uygun hizmetler olarak işletmek. Yaklaşım; modelin güvenilirliğini dağıtımdan önce sınamak, pahalı GPU kaynaklarını ekipler arasında daha verimli paylaştırmak ve model çıkarımını tekrarlanabilir biçimde devreye almak üzerine kurulu.168

Pilot projeden üretim hizmetine geçişte ne değişiyor?

Kurumlarda AI projelerinin üretime geçişi çoğu zaman model seçimi, güvenlik kontrolleri, GPU kapasitesi ve operasyon görünürlüğü gibi başlıklarda tıkanıyor. Red Hat AI 3.5, bu aşamaları Kubernetes merkezli ortak bir operasyon katmanında toplama iddiasında.

Dağıtımdan önce model ve uygulama risklerini değerlendirme

Sürümde genel kullanıma açılan EvalHub, kurumların kendi geliştirdiği ya da özelleştirdiği modelleri, RAG (retrieval-augmented generation; kurumsal dokümanlardan bilgi getirerek yanıt üretme) işlem hatlarını ve AI ajanlarını otomatik testlerden geçirmesine yönelik bir değerlendirme hizmeti olarak konumlandırılıyor. Araç; prompt injection ve jailbreak gibi güvenlik risklerinin üretim öncesinde ölçülmesine, ayrıca denetlenebilir uyumluluk raporları oluşturulmasına yardımcı olmayı amaçlıyor.17

Red Hat ayrıca Google, NVIDIA ve Alibaba Cloud gibi sağlayıcılardan 20'den fazla yeni doğrulanmış modeli kataloğa eklediğini belirtiyor. Katalogdaki güvenlik, kişisel veri açığa çıkma ve toksisite riski bilgileri, platform ekiplerinin model seçiminde her ekip için sıfırdan ayrı bir değerlendirme süreci kurmak yerine karşılaştırılabilir kanıtlardan yararlanmasını hedefliyor.17

Ortak GPU'larda daha kontrollü kaynak kullanımı

Üretimde en pahalı kaynaklardan biri GPU kapasitesi. Red Hat AI 3.5; adil paylaşım zamanlaması, öncelik farkındalığı olan sunum, kabul kontrolü ve önceliğe göre istek yönlendirme gibi mekanizmalarla bir iş yükünün ya da ekibin tüm GPU kapasitesini tüketmesini engellemeyi hedefliyor.17

Kullanıcı bazında token ölçümü de bu çerçevenin parçası. Böylece kurumlar, kritik iş yüklerine öncelik verebilir; ekip ya da birim bazında maliyet gösterimi ve geri ücretlendirme için veri üretebilir.17

Çalışan AI hizmetlerini izleme

Yeni gözlemlenebilirlik panoları; çıkarım hizmetinin sağlığı, GPU kullanımı ve model performansına ilişkin sinyalleri görünür kılmayı amaçlıyor. Bu, operatörlerin hizmet çalışırken kapasite darboğazlarını, erişilebilirlik sorunlarını veya kalite gerilemelerini takip edebilmesi anlamına geliyor.1716

Çok dilli RAG ve ajan uygulamaları

AutoRAG için gelen çok dilli yetenekler, İngilizce dışındaki ve karışık dilli belge koleksiyonlarında uygun RAG düzenlerini bulmayı hedefliyor. Özellikler arasında dil algılama, deney yapılandırması, Latin, Kiril ve CJK gibi farklı yazı sistemlerine duyarlı parçalara ayırma stratejileri ile çok dilli gömme modelleri bulunuyor.4

Red Hat, AI Hub şablonlarıyla kod inceleme, belge işleme ve araştırma iş akışları için başlangıç mimarileri de sunuyor.17

Hibrit altyapı ve NVIDIA tarafındaki rolü

Red Hat AI Inference 3.5, büyük dil modelleri için NVIDIA CUDA'nın yanı sıra AMD ROCm, Google TPU, Intel Gaudi ve IBM Spyre hızlandırıcılarına yönelik optimize edilmiş çıkarım konteyner imajları sağlıyor.13

Bu yetenekler, Red Hat AI Factory with NVIDIA yaklaşımında NVIDIA hızlandırmalı altyapı üzerinde standartlaştırılmış bir operasyon katmanı oluşturma hedefiyle örtüşüyor: kurumlar modelleri doğrulayabilir, GPU kapasitesini ekipler arasında tahsis edebilir, sunum katmanını izleyebilir ve hibrit altyapılarda ortak Kubernetes yaklaşımıyla dağıtım yapabilir.163

Bu nedenle sürümün pratik değeri yalnızca yeni bir model çalıştırma seçeneği sunmasında değil; veri bilimi denemeleri ile kurumsal BT operasyonları arasındaki devretme sürecini daha tekrarlanabilir hale getirmeye çalışmasında yatıyor.

Hangi bulut Kubernetes seçenekleri destekleniyor?

Red Hat AI Inference 3.5'te llm-d ile Dağıtık Çıkarım, Azure Kubernetes Service (AKS) ve CoreWeave Kubernetes Service (CKS) üzerinde desteklenen dağıtımlar arasında yer alıyor.8 Amazon'un yönetilen Kubernetes hizmeti EKS için çıkarım farkındalıklı zamanlama ise Teknoloji Önizlemesi durumunda.

Bu ayrım önemli: Red Hat, Teknoloji Önizlemesi özelliklerinin üretim hizmet seviyesi sözleşmeleri kapsamında desteklenmediğini, işlevsel olarak tamamlanmamış olabileceğini ve üretimde kullanılmasını önermediğini açıkça belirtiyor.8

Kısacası Red Hat AI 3.5, kurumlara “bir model çalıştırma”dan daha geniş bir çerçeve sunuyor: güvenlik ve uyumluluk değerlendirmesi, kaynak yönetimi, izleme ve hibrit dağıtım. Ancak üretim planlamasında, özellikle EKS tarafında, desteklenen özelliklerle Teknoloji Önizlemesi kapsamındakileri birbirinden ayırmak gerekiyor.84