Red Hat AI 3.5 Dorong AI Perusahaan dari Pilot ke Produksi Terkelola

Red Hat AI 3.5 bukan rilis yang berpusat pada satu model baru atau fitur chatbot. Fokusnya adalah pekerjaan operasional yang biasanya muncul saat proyek AI keluar dari tahap uji coba: memeriksa risiko sebelum peluncuran, membagi kapasitas GPU yang mahal kepada banyak pengguna, dan memantau inferensi setelah layanan berjalan.

Red Hat mengumumkan pembaruan ini pada 9 September 2026. Arah utamanya adalah menjadikan AI sebagai layanan bersama di perusahaan yang dapat dikendalikan, diawasi, dan diaudit—baik di infrastruktur lokal maupun cloud. 4315

EvalHub kini tersedia secara umum

Sorotan utama Red Hat AI 3.5 adalah EvalHub, toolkit untuk mengevaluasi model dan agen AI yang kini berstatus general availability (GA). Tim dapat menggunakannya pada model yang dibuat atau dikustomisasi sendiri, konfigurasi retrieval-augmented generation (RAG), serta agen AI.

EvalHub memungkinkan pengujian keamanan untuk risiko seperti prompt injection dan jailbreak, lalu menghasilkan sertifikasi yang ditujukan untuk kebutuhan kepatuhan. Dengan demikian, evaluasi dapat menjadi tahap yang berulang dan terdokumentasi sebelum sebuah sistem AI masuk ke lingkungan produksi. 13

Red Hat juga menambahkan lebih dari 20 model tervalidasi ke katalognya, termasuk model dari Google, NVIDIA, dan Alibaba Cloud. Informasi evaluasi katalog mencakup hasil benchmark Garak serta indikator risiko toksisitas dan potensi paparan informasi identitas pribadi (personally identifiable information atau PII). Data ini memberi tim platform dasar tambahan ketika memilih model. 34

GPU bersama mendapat aturan main yang lebih jelas

Pada tahap pilot, sebuah aplikasi AI kerap memperoleh infrastruktur khusus untuk pengguna terbatas. Ketika masuk produksi, banyak beban kerja dan tim harus menggunakan GPU yang sama. Di sinilah masalah prioritas layanan, pembagian kapasitas, dan akuntabilitas biaya mulai penting.

Red Hat AI 3.5 menambahkan fair-share scheduling, penyajian berbasis prioritas, admission control, serta perutean permintaan berbasis prioritas untuk lingkungan GPU bersama. Fitur-fitur ini ditujukan agar satu beban kerja tidak serta-merta menghabiskan kapasitas GPU yang digunakan bersama. 48

Rilis ini juga membawa metering token per pengguna serta dashboard untuk kesehatan inferensi, utilisasi GPU, dan performa model. Bagi operator platform, kapabilitas tersebut dimaksudkan untuk melihat pemakaian kapasitas, mendeteksi gangguan layanan model, dan mendukung alokasi biaya pada tingkat tim. 414

Di sisi mesin inferensi, Red Hat AI Inference 3.5 menyediakan image inferensi teroptimasi yang berstatus GA untuk NVIDIA CUDA. Dukungan juga mencakup AMD ROCm, Google TPU, Intel Gaudi, dan akselerator IBM Spyre. 35

Tooling RAG dan agen AI ikut diperluas, tetapi belum semuanya GA

Untuk aplikasi yang menggunakan RAG—pendekatan yang mengambil informasi dari basis dokumen sebelum model menyusun jawaban—AutoRAG mendapat kapabilitas multibahasa. Fitur ini mencakup deteksi bahasa, pemenggalan dokumen yang menyesuaikan bahasa, dan embedding multibahasa untuk koleksi dokumen non-Inggris maupun campuran bahasa. 1

Red Hat menjelaskan AutoRAG dapat dipakai untuk mengevaluasi dan menyetel pipeline RAG, termasuk contextual retrieval, pengujian percakapan, serta debugging visual. Namun, status AutoRAG masih Technology Preview, bukan GA. Organisasi yang merencanakan layanan produksi perlu membedakan status ini dari fitur yang sudah memperoleh dukungan produksi penuh. 13

Rilis ini turut menyediakan template AI Hub sebagai titik awal untuk alur kerja seperti peninjauan kode, pemrosesan dokumen, dan riset. 43

Inferensi hybrid cloud juga melampaui OpenShift

Pilihan penerapan inferensi terdistribusi dengan llm-d diperluas ke layanan Kubernetes terkelola. Dokumentasi Red Hat mencantumkan Azure Kubernetes Service (AKS), CoreWeave Kubernetes Service (CKS), dan Amazon Elastic Kubernetes Service (EKS), dengan prasyarat antara lain Kubernetes 1.33 atau lebih baru serta node GPU yang telah disediakan. 37

Namun status dukungannya tidak sama. Inferensi terdistribusi llm-d di Amazon EKS masih merupakan Technology Preview, tidak didukung oleh SLA layanan produksi Red Hat, dan tidak direkomendasikan untuk produksi. Panduan Red Hat menempatkan Azure dan CoreWeave Kubernetes Service sebagai jalur penerapan yang didukung dalam rilis ini. 3940

Dampaknya bagi tim perusahaan

Red Hat AI 3.5 menyatukan sejumlah pekerjaan yang sering kali terpisah-pisah saat proyek AI masih berupa pilot:

1. Kepercayaan sebelum peluncuran: menguji model kustom, pipeline RAG, dan agen terhadap risiko keamanan serta menghasilkan keluaran yang dapat diaudit. 13
2. Kontrol saat layanan berjalan: membagi GPU bersama memakai kebijakan keadilan dan prioritas, sambil mengukur konsumsi token. 4
3. Visibilitas operasional: memantau kesehatan inferensi, pemakaian GPU, dan performa model melalui dashboard. 14
4. Portabilitas infrastruktur: menjalankan inferensi teroptimasi pada beberapa tumpukan akselerator dan menerapkan inferensi terdistribusi pada lingkungan Kubernetes yang didukung. 3540

Singkatnya, janji utama Red Hat AI 3.5 bersifat operasional: membantu tim platform menguji AI sebelum diterapkan, mengelola infrastruktur akselerasi yang dipakai bersama, dan memantau penyajian model di lingkungan hybrid. EvalHub menjadi pusat pembaruan ini, sedangkan kontrol GPU, metering, dan observabilitas menyasar pekerjaan harian setelah sistem AI benar-benar dipakai.

Catatan pentingnya, ketersediaan fitur tidak seragam. EvalHub sudah GA, tetapi AutoRAG dan inferensi terdistribusi llm-d di Amazon EKS masih berstatus Technology Preview. 1339

Inisiatif Lightwell: terkait strategi kepercayaan, tetapi fitur yang berbeda

Dalam strategi IBM dan Red Hat yang lebih luas, ada pula Lightwell, inisiatif bersama untuk menangani dependensi perangkat lunak sumber terbuka pihak ketiga yang rentan. Pada September, LTM mengumumkan kolaborasi dengan IBM dan Red Hat terkait Lightwell untuk remediasi kerentanan berbasis AI. 2425

Lightwell bukan fitur Red Hat AI 3.5. Namun, keduanya mencerminkan penekanan yang serupa pada validasi dan pengurangan risiko operasional—satu untuk layanan AI di produksi, satu lagi untuk rantai pasok perangkat lunak sumber terbuka.