Red Hat AI 3.5 mahu bawa AI perusahaan daripada projek rintis ke pengeluaran terkawal

Red Hat AI 3.5 bukan pelancaran satu model baharu atau ciri chatbot semata-mata. Kemas kini ini lebih tertumpu pada operasi pengeluaran: membantu pasukan platform menilai sistem AI sebelum dilancarkan, mengagihkan kapasiti GPU yang mahal antara pengguna, serta memantau inferens apabila perkhidmatan sudah berjalan. Red Hat mengumumkan keluaran ini pada 9 September 2026, manakala sorotan pada 11 September menegaskan fokusnya pada keselamatan, kawalan operasi dan ketelusan prestasi. 4315

Perubahan utama: EvalHub kini tersedia secara umum

Tambahan paling ketara untuk kesiapsiagaan pengeluaran ialah EvalHub, kit alat penilaian model dan ejen AI daripada Red Hat. Ia kini tersedia secara umum untuk model yang dibawa sendiri atau diubah suai oleh pelanggan, konfigurasi retrieval-augmented generation (RAG), dan ejen AI. Pasukan boleh menjalankan penanda aras berfokus keselamatan bagi risiko seperti suntikan arahan (prompt injection) dan jailbreak, kemudian menjana pensijilan berorientasikan pematuhan berdasarkan hasil tersebut. 13

Ini penting kerana model yang berfungsi baik dalam prototaip belum tentu sesuai untuk aliran kerja perusahaan. EvalHub direka untuk menjadikan penilaian sebagai langkah yang boleh diulang dan didokumenkan sebelum penggunaan, berbanding setiap pasukan aplikasi membina proses ujian sendiri.

Red Hat juga menyatakan katalog model yang disahkannya telah menerima lebih 20 model, termasuk daripada Google, NVIDIA dan Alibaba Cloud. Penilaian katalog itu merangkumi keputusan penanda aras Garak serta petunjuk ketoksikan dan kemungkinan pendedahan maklumat pengenalan peribadi (PII), sekali gus memberi lebih bukti kepada pasukan ketika memilih model. 34

GPU dikongsi diurus sebagai perkhidmatan

Projek rintis AI lazimnya menggunakan infrastruktur khusus untuk kumpulan pengguna yang kecil. Dalam pengeluaran, organisasi perlu menangani beban kerja yang bersaing, keutamaan perkhidmatan dan akauntabiliti kos. Red Hat AI 3.5 menambah kawalan bagi isu ini, termasuk penjadualan pembahagian adil, penyajian yang peka keutamaan, kawalan penerimaan dan penghalaan permintaan berdasarkan keutamaan bagi persekitaran GPU yang dikongsi. 48

Keluaran ini turut menambah pemeteran token bagi setiap pengguna serta papan pemuka untuk kesihatan inferens, penggunaan GPU dan prestasi model. Secara bersama, ciri ini bertujuan membantu pengendali platform melihat siapa yang menggunakan kapasiti, mengenal pasti masalah penyajian dan menyokong pengagihan kos mengikut pasukan. 414

Bagi organisasi dengan infrastruktur dipercepat NVIDIA, kaitan praktikalnya ialah lapisan operasi berasaskan Kubernetes untuk penyajian model: menilai beban kerja, mengawal akses kepada GPU yang dikongsi dan memantau perkhidmatan yang sedang berjalan. Red Hat AI Inference 3.5 juga menyediakan imej inferens teroptimum yang tersedia secara umum untuk NVIDIA CUDA, di samping pemecut AMD ROCm, Google TPU, Intel Gaudi dan IBM Spyre. 35

RAG dan alat ejen turut diperluas, tetapi bukan semuanya tersedia secara umum

Red Hat AI 3.5 turut memperluas alat untuk aplikasi berasaskan carian maklumat dan ejen. AutoRAG menambah keupayaan berbilang bahasa untuk koleksi dokumen bukan bahasa Inggeris dan campuran bahasa, termasuk pengesanan bahasa, pemecahan teks mengikut bahasa dan embedding berbilang bahasa dalam ruang carian pengoptimumannya. 1

Red Hat menerangkan AutoRAG sebagai cara untuk menilai serta menala saluran RAG, dengan keupayaan seperti carian berasaskan konteks, ujian perbualan dan penyahpepijatan visual. Namun, AutoRAG sendiri masih berstatus Pratonton Teknologi (Technology Preview), bukannya ciri tersedia secara umum. Pasukan perlu mengambil kira status itu sebelum menjadikannya asas perkhidmatan pengeluaran. 13

Keluaran ini juga menyertakan templat AI Hub sebagai titik mula untuk aliran kerja seperti semakan kod, pemprosesan dokumen dan penyelidikan. 43

Inferens awan hibrid di luar OpenShift

Keluaran ini meluaskan pilihan penggunaan untuk inferens teragih dengan llm-d pada Kubernetes terurus. Dokumentasi Red Hat mengenal pasti Azure Kubernetes Service (AKS), CoreWeave Kubernetes Service (CKS) dan Amazon Elastic Kubernetes Service (EKS) sebagai platform sasaran, dengan Kubernetes 1.33 atau lebih baharu serta nod GPU yang telah diperuntukkan antara prasyaratnya. 37

Namun, status sokongan tidak sama untuk setiap pilihan. Dokumentasi secara khusus menyatakan inferens teragih dengan llm-d pada Amazon EKS hanyalah Pratonton Teknologi, tanpa sokongan perjanjian tahap perkhidmatan (SLA) pengeluaran dan tidak disyorkan untuk pengeluaran. Dokumentasi Red Hat AI Inference pula menonjolkan panduan penggunaan untuk Azure dan CoreWeave Kubernetes Service, menjadikannya laluan yang relevan dan disokong dalam keluaran ini. 3940

Apa yang berubah untuk pasukan perusahaan

Red Hat AI 3.5 menghimpunkan empat aliran kerja yang sering dipisahkan dalam projek rintis AI ke arah satu platform:

1. Kepercayaan sebelum pelancaran: menilai model tersuai, saluran RAG dan ejen untuk risiko keselamatan serta menghasilkan output yang boleh diaudit. 13
2. Kawalan ketika beroperasi: memperuntukkan GPU kongsi menerusi dasar keadilan dan keutamaan, sambil mengukur penggunaan token. 4
3. Keterlihatan operasi: menggunakan papan pemuka inferens, penggunaan GPU dan prestasi model untuk mengurus perkhidmatan selepas ia dilancarkan. 14
4. Kebolehalihan infrastruktur: menjalankan inferens teroptimum pada pelbagai susunan pemecut serta menggunakan inferens teragih dalam persekitaran Kubernetes yang disokong. 3540

Red Hat meletakkan fungsi ini sebagai asas operasi bagi AI merentas persekitaran hibrid, supaya AI boleh dikendalikan lebih seperti infrastruktur perusahaan yang dikongsi, bukan sekadar himpunan eksperimen berasingan. 43

Inisiatif kepercayaan IBM–Red Hat yang berkaitan tetapi berasingan

Strategi IBM dan Red Hat yang lebih luas turut melibatkan Lightwell, sebuah inisiatif bersama yang berasingan dan memberi tumpuan kepada kebergantungan perisian sumber terbuka pihak ketiga yang terdedah. Pada September, LTM mengumumkan kerjasama dengan IBM dan Red Hat berhubung Lightwell untuk pemulihan kelemahan dipacu AI. Inisiatif itu berkaitan keselamatan rantaian bekalan perisian, bukannya ciri Red Hat AI 3.5, tetapi ia mencerminkan penekanan lebih meluas kedua-dua syarikat terhadap pengesahan dan pengurangan risiko operasi. 2425

Kesimpulan

Janji utama Red Hat AI 3.5 ialah soal operasi: menyediakan alat untuk menguji AI sebelum penggunaan, mentadbir infrastruktur pecutan yang dikongsi dan memerhati penyajian model merentas persekitaran hibrid. Ketersediaan umum EvalHub menjadi terasnya, manakala penjadualan GPU, pemeteran dan pemerhatian menyasar kerja operasi harian yang lazimnya diketepikan oleh projek rintis. Cuma, tahap ketersediaan berbeza mengikut ciri—AutoRAG dan inferens teragih pada EKS masih merupakan Pratonton Teknologi. 1339