Red Hat AI 3.5 Resmi Tersedia: Fokus Membawa AI dari Pilot ke Skala Produksi

Red Hat mengumumkan ketersediaan umum (general availability/GA) Red Hat AI 3.5 sebagai pembaruan platform AI perusahaan. Arah utamanya bukan sekadar membantu tim membuat purwarupa AI, melainkan menjalankan AI sebagai layanan produksi yang terkelola, dapat diamati, dan dipakai banyak tim di lingkungan hybrid cloud. Pendekatannya memadukan validasi kepercayaan sebelum penerapan, pemakaian GPU bersama yang efisien, serta penerapan aplikasi dan inferensi yang konsisten. 168

Dari eksperimen ke layanan AI yang siap dioperasikan

Bagi organisasi, hambatan AI produksi biasanya bukan hanya memilih model. Mereka juga perlu memastikan model aman, mengatur akses terhadap GPU yang mahal, memantau kualitas layanan saat berjalan, dan menerapkan beban kerja yang sama di infrastruktur berbeda. Red Hat AI 3.5 ditujukan untuk menangani kebutuhan operasional tersebut.

• Kepercayaan dan tata kelola model: EvalHub tersedia secara umum untuk menjalankan benchmark keselamatan otomatis yang berfokus pada risiko serta menghasilkan sertifikasi kepatuhan yang dapat diaudit. Fitur ini ditujukan bagi model buatan atau kustomisasi pelanggan, pipeline retrieval-augmented generation (RAG), dan agen AI. Tim dapat menguji risiko seperti prompt injection dan upaya jailbreak sebelum sistem diterapkan. 138

• Pemilihan model yang lebih berbasis bukti: Red Hat memperluas katalog dengan lebih dari 20 model baru yang telah divalidasi, termasuk dari Google, NVIDIA, dan Alibaba Cloud. Informasi mengenai risiko keselamatan, paparan data pribadi/PII, dan toksisitas dilaporkan untuk membantu tim platform menilai pilihan model tanpa harus merancang proses evaluasi sendiri dari nol. 34

• Kontrol GPU untuk penggunaan bersama: Penjadwalan fair-share, penyajian yang mempertimbangkan prioritas, admission control, dan perutean permintaan berbasis prioritas dirancang agar satu aplikasi atau satu tim tidak menghabiskan seluruh kapasitas GPU. Metering token per pengguna juga mendukung penetapan prioritas layanan serta mekanisme showback atau chargeback antartim. 45

• Visibilitas operasional: Dashboard observabilitas baru menampilkan kesehatan inferensi, pemakaian GPU, dan sinyal performa model. Dengan begitu, operator platform dapat mengidentifikasi persoalan kapasitas, ketersediaan, atau kualitas ketika layanan AI sudah berjalan. 416

RAG multibahasa dan fondasi untuk agen AI

Pada sisi pengembangan, AutoRAG menambahkan dukungan multibahasa untuk korpus dokumen non-Inggris maupun campuran bahasa. Kemampuannya mencakup deteksi bahasa dan konfigurasi eksperimen, sehingga relevan bagi perusahaan yang mengelola basis pengetahuan lintas bahasa. Red Hat juga memosisikannya untuk pengambilan informasi dari data perusahaan, pengujian percakapan, dan aplikasi berbasis agen. Template AI Hub menyediakan titik awal untuk arsitektur seperti tinjauan kode, pemrosesan dokumen, dan alur kerja riset. 113

Inferensi di hybrid cloud dan integrasi NVIDIA

Red Hat AI Inference 3.5 menyediakan image inferensi yang dioptimalkan untuk NVIDIA CUDA, AMD ROCm, Google TPU, Intel Gaudi, dan akselerator IBM Spyre. Dukungan ini memberi organisasi pilihan untuk menjalankan model pada beragam perangkat keras, tanpa meninggalkan pendekatan operasional berbasis Kubernetes. 384

Untuk inferensi terdistribusi dengan llm-d, penerapan pada Azure Kubernetes Service (AKS) dan CoreWeave Kubernetes Service didukung. Sementara itu, penjadwalan yang sadar kebutuhan inferensi pada Amazon EKS masih berstatus Technology Preview. 384

Dalam Red Hat AI Factory with NVIDIA, kemampuan tersebut menjadi lapisan operasional standar di atas infrastruktur berakselerasi NVIDIA: organisasi dapat memvalidasi model, membagi kapasitas GPU secara adil, memantau penyajian model, dan menerapkannya di infrastruktur hybrid melalui pendekatan Kubernetes yang seragam. Inilah cara Red Hat berupaya mengurangi kesenjangan antara eksperimen data science dan operasi AI perusahaan. 163

Catatan penting soal status fitur

Label “tersedia secara umum” tidak berlaku seragam untuk seluruh kemampuan. Inferensi terdistribusi dengan llm-d di Amazon EKS secara eksplisit masih berstatus Technology Preview; fitur seperti ini tidak didukung oleh SLA layanan produksi Red Hat dan tidak direkomendasikan untuk penggunaan produksi. Jalur Azure dan CoreWeave merupakan penerapan yang didukung. 84

Secara lebih luas, rilis ini memperkuat strategi IBM dan Red Hat untuk menggabungkan infrastruktur open hybrid cloud dengan operasi AI yang terkelola. Secara terpisah, LTM bekerja sama dengan IBM dan Red Hat pada Lightwell, inisiatif untuk membantu perusahaan mengidentifikasi, memprioritaskan, dan memperbaiki kerentanan perangkat lunak sumber terbuka. 48