Red Hat AI 3.5 hướng tới vận hành AI như một dịch vụ doanh nghiệp

Red Hat cho biết Red Hat AI 3.5 đã sẵn sàng phổ biến (general availability, GA) vào ngày 11/9/2026. Trọng tâm của bản cập nhật không chỉ là đưa mô hình AI lên môi trường chạy thử, mà là giúp doanh nghiệp vận hành AI như một dịch vụ hạ tầng: có kiểm soát, có khả năng quan sát, phục vụ nhiều nhóm dùng chung tài nguyên và triển khai lặp lại trên hybrid cloud. 168

Những điểm đáng chú ý

• Đánh giá độ tin cậy trước khi triển khai: EvalHub đã ở trạng thái GA, cung cấp đánh giá tự động theo hướng rủi ro và chứng nhận tuân thủ có thể kiểm toán cho mô hình do khách hàng xây dựng hoặc tùy biến, pipeline RAG và AI agent. Mục tiêu là giúp nhóm kỹ thuật phát hiện các nguy cơ như prompt injection hoặc jailbreak trước khi đưa vào môi trường vận hành. 17

• Chọn mô hình dựa trên bằng chứng: Danh mục mô hình được xác thực được bổ sung hơn 20 mô hình từ các nhà cung cấp như Google, NVIDIA và Alibaba Cloud, kèm thông tin về rủi ro an toàn, lộ dữ liệu nhận dạng cá nhân (PII) và nội dung độc hại. Cách tiếp cận này giúp đội ngũ nền tảng có cơ sở thống nhất khi lựa chọn mô hình, thay vì mỗi dự án phải tự thiết kế quy trình đánh giá. 17

• Kiểm soát GPU dùng chung: Các cơ chế lập lịch phân bổ công bằng, phục vụ theo mức ưu tiên, kiểm soát tiếp nhận và định tuyến yêu cầu theo ưu tiên nhằm tránh để một nhóm hoặc một workload chiếm hết năng lực GPU đắt tiền. Việc đo token theo từng người dùng cũng hỗ trợ phân bổ chi phí hoặc hiển thị chi phí theo nhóm. 17

• Quan sát trong lúc vận hành: Dashboard mới cung cấp tín hiệu về tình trạng suy luận, mức sử dụng GPU và hiệu năng mô hình. Nhờ đó, đội ngũ vận hành có thể theo dõi năng lực, tính sẵn sàng và chất lượng dịch vụ AI khi hệ thống đang hoạt động. 17

• RAG và ứng dụng đa ngôn ngữ: AutoRAG được bổ sung khả năng làm việc với kho tài liệu không phải tiếng Anh và tài liệu pha trộn nhiều ngôn ngữ, gồm nhận diện ngôn ngữ, cấu hình thử nghiệm, chiến lược chia nhỏ văn bản theo ngôn ngữ và không gian tìm kiếm có embedding đa ngôn ngữ. Đây là tính năng Technology Preview. 4

Hybrid cloud và suy luận trên Kubernetes

Red Hat AI Inference 3.5 cung cấp các container image tối ưu cho suy luận mô hình ngôn ngữ lớn trên NVIDIA CUDA, AMD ROCm, Google TPU, Intel Gaudi và IBM Spyre; đồng thời hỗ trợ đa kiến trúc cho IBM Z và IBM Power. 13

Với Distributed Inference dùng llm-d, Red Hat có tài liệu triển khai trên Azure Kubernetes Service (AKS), CoreWeave Kubernetes Service (CKS) và Amazon EKS. Tuy nhiên, cần phân biệt rõ trạng thái hỗ trợ: triển khai trên Amazon EKS chỉ là Technology Preview, không thuộc SLA sản xuất của Red Hat và không được khuyến nghị dùng cho môi trường production; các hướng Azure và CoreWeave là những lộ trình được hỗ trợ. 85

Vai trò của Red Hat AI Factory with NVIDIA

Trong định vị Red Hat AI Factory with NVIDIA, các thành phần của AI 3.5 tạo thành một lớp vận hành chuẩn hóa trên hạ tầng tăng tốc NVIDIA: đánh giá mô hình trước triển khai, phân bổ GPU cho nhiều nhóm, giám sát dịch vụ suy luận và triển khai theo cách tiếp cận dựa trên Kubernetes ở các môi trường hybrid. Về thực chất, đây là nỗ lực thu hẹp khoảng cách thường gặp giữa giai đoạn thử nghiệm của nhóm khoa học dữ liệu và yêu cầu vận hành, quản trị của CNTT doanh nghiệp. 163

Điểm cần lưu ý là nhãn GA không áp dụng đồng loạt cho mọi tính năng. EvalHub và các image suy luận nêu trên đã có trạng thái sẵn sàng phổ biến, trong khi một số khả năng như lập lịch suy luận nhận biết hạ tầng trên Amazon EKS vẫn chỉ ở mức Technology Preview. 178