Red Hat AI 3.5: Đưa AI doanh nghiệp từ thử nghiệm vào vận hành có kiểm soát

Red Hat AI 3.5 không phải là bản phát hành xoay quanh một chatbot hay một mô hình mới. Trọng tâm của phiên bản này là công việc vận hành AI trong doanh nghiệp: đánh giá hệ thống trước khi đưa vào dùng thật, phân bổ GPU đắt tiền cho nhiều nhóm và theo dõi dịch vụ suy luận sau khi triển khai. Red Hat công bố bản phát hành ngày 9/9/2026; trong bản tổng hợp ngày 11/9, hãng tiếp tục nhấn mạnh an toàn, quyền kiểm soát vận hành và tính minh bạch về hiệu năng. 4315

EvalHub: kiểm tra trước khi đưa AI vào vận hành

Điểm đáng chú ý nhất là EvalHub, bộ công cụ đánh giá mô hình và AI agent đã ở trạng thái General Availability (GA) — tức sẵn sàng cung cấp đại trà. Công cụ này hỗ trợ các mô hình do khách hàng tự đưa vào hoặc tùy biến, cấu hình RAG (retrieval-augmented generation, tạo sinh có tăng cường truy xuất dữ liệu) và AI agent. Nhóm kỹ thuật có thể chạy các bài kiểm thử an toàn cho những rủi ro như prompt injection và jailbreak, rồi tạo chứng nhận phục vụ yêu cầu tuân thủ từ kết quả đánh giá. 13

Điều này đáng chú ý vì một mô hình hoạt động tốt trong giai đoạn thử nghiệm chưa đồng nghĩa đã phù hợp với quy trình nghiệp vụ thực tế. EvalHub hướng đến việc đưa bước đánh giá thành quy trình lặp lại được trước triển khai, thay vì để từng nhóm ứng dụng tự xây dựng và tự lưu vết cách kiểm thử của mình.

Red Hat cũng cho biết danh mục mô hình đã xác thực có thêm hơn 20 mô hình, trong đó có các mô hình từ Google, NVIDIA và Alibaba Cloud. Thông tin đánh giá trong danh mục gồm kết quả benchmark Garak cùng các chỉ dấu về độc tính và nguy cơ lộ thông tin nhận dạng cá nhân (PII), giúp đội ngũ có thêm căn cứ khi chọn mô hình. 34

GPU dùng chung được quản lý như một dịch vụ

Các dự án AI thử nghiệm thường chạy trên hạ tầng riêng với số người dùng ít. Khi lên môi trường sản xuất, doanh nghiệp phải xử lý các tải công việc cạnh tranh nhau, mức độ ưu tiên dịch vụ và yêu cầu phân bổ chi phí. Red Hat AI 3.5 bổ sung các cơ chế nhằm giải quyết bài toán này trong môi trường GPU dùng chung: lập lịch chia sẻ công bằng, phục vụ theo mức ưu tiên, kiểm soát tiếp nhận và định tuyến yêu cầu theo ưu tiên. 48

Bản phát hành cũng có đo mức sử dụng token theo từng người dùng, cùng các bảng điều khiển về tình trạng suy luận, mức sử dụng GPU và hiệu năng mô hình. Theo mục tiêu của Red Hat, các khả năng này giúp đội vận hành biết ai đang tiêu thụ tài nguyên, phát hiện sự cố phục vụ mô hình và phân bổ chi phí theo từng nhóm. 414

Với các tổ chức sử dụng hạ tầng tăng tốc NVIDIA, đây là một lớp vận hành theo định hướng Kubernetes bao quanh hoạt động phục vụ mô hình: đánh giá tải công việc, quản lý quyền dùng GPU chung và giám sát dịch vụ đang chạy. Red Hat AI Inference 3.5 cũng cung cấp các image suy luận tối ưu hóa ở trạng thái GA cho NVIDIA CUDA, bên cạnh AMD ROCm, Google TPU, Intel Gaudi và IBM Spyre. 35

RAG và AI agent: có thêm công cụ, nhưng chưa phải tất cả đều GA

Red Hat AI 3.5 tiếp tục mở rộng công cụ cho ứng dụng truy xuất dữ liệu và ứng dụng dựa trên agent. AutoRAG bổ sung năng lực đa ngôn ngữ cho kho tài liệu không phải tiếng Anh hoặc pha trộn nhiều ngôn ngữ, bao gồm nhận diện ngôn ngữ, chia nhỏ văn bản theo đặc điểm ngôn ngữ và embedding đa ngôn ngữ trong không gian tối ưu hóa. 1

Red Hat mô tả AutoRAG là công cụ để đánh giá và tinh chỉnh pipeline RAG, với các khả năng như truy xuất theo ngữ cảnh, kiểm thử hội thoại và gỡ lỗi trực quan. Tuy nhiên, AutoRAG vẫn là Technology Preview (TP), không phải tính năng GA. Doanh nghiệp cần tính đến trạng thái này khi quyết định thành phần nào đủ điều kiện làm nền tảng cho dịch vụ sản xuất. 13

Phiên bản mới còn có các mẫu AI Hub làm điểm khởi đầu cho những luồng công việc như rà soát mã nguồn, xử lý tài liệu và nghiên cứu. 43

Mở rộng suy luận đám mây lai ngoài OpenShift

Red Hat AI 3.5 mở rộng lựa chọn triển khai suy luận phân tán bằng llm-d trên Kubernetes được quản lý. Tài liệu Red Hat nêu Azure Kubernetes Service (AKS), CoreWeave Kubernetes Service (CKS) và Amazon EKS là các nền tảng mục tiêu; điều kiện bao gồm Kubernetes 1.33 trở lên và các node GPU đã được cấp phát. 37

Tuy nhiên, trạng thái hỗ trợ không giống nhau trên mọi nền tảng. Red Hat ghi rõ suy luận phân tán bằng llm-d trên Amazon EKS chỉ là Technology Preview, không có SLA hỗ trợ sản xuất và không được khuyến nghị dùng trong môi trường sản xuất. Tài liệu Red Hat AI Inference nêu hướng dẫn triển khai cho Azure và CoreWeave Kubernetes Service, đây là các hướng triển khai được hỗ trợ phù hợp với bản phát hành này. 3940

AI 3.5 thay đổi gì với đội ngũ doanh nghiệp?

Bản cập nhật tập hợp bốn mảng công việc vốn thường rời rạc trong một dự án AI thử nghiệm:

1. Tạo niềm tin trước khi phát hành: đánh giá mô hình tùy biến, pipeline RAG và agent về rủi ro an toàn, đồng thời tạo đầu ra có thể kiểm toán. 13
2. Kiểm soát khi vận hành: phân bổ tài nguyên GPU dùng chung theo chính sách công bằng và ưu tiên, đồng thời đo lượng token sử dụng. 4
3. Quan sát khi dịch vụ chạy thực tế: dùng bảng điều khiển về suy luận, mức sử dụng tài nguyên và hiệu năng mô hình để quản trị dịch vụ sau triển khai. 14
4. Tính linh hoạt về hạ tầng: chạy suy luận tối ưu hóa trên nhiều loại bộ tăng tốc và triển khai suy luận phân tán trên các môi trường Kubernetes được hỗ trợ. 3540

Red Hat định vị các năng lực này là nền tảng vận hành cho AI mở rộng qua môi trường lai, hoạt động giống một hạ tầng doanh nghiệp dùng chung hơn là tập hợp các thử nghiệm độc lập. 43

Lightwell là sáng kiến liên quan nhưng tách biệt

Chiến lược rộng hơn của IBM và Red Hat còn có Lightwell, một sáng kiến chung riêng biệt nhằm xử lý các dependency mã nguồn mở bên thứ ba có lỗ hổng. Trong tháng 9, LTM công bố hợp tác với IBM và Red Hat quanh Lightwell để khắc phục lỗ hổng bằng AI. Đây là sáng kiến về bảo mật chuỗi cung ứng phần mềm, không phải một tính năng của Red Hat AI 3.5, dù cùng phản ánh trọng tâm của các bên vào xác thực và giảm rủi ro vận hành. 2425

Kết luận

Lời hứa chính của Red Hat AI 3.5 nằm ở vận hành: cung cấp cho đội nền tảng các công cụ để kiểm tra AI trước triển khai, quản trị hạ tầng tăng tốc dùng chung và quan sát việc phục vụ mô hình trên môi trường lai. EvalHub ở trạng thái GA là điểm nhấn, trong khi lập lịch GPU, đo token và khả năng quan sát giải quyết những công việc “ngày thứ hai” mà các dự án thử nghiệm thường chưa phải đối mặt. Lưu ý quan trọng là mức độ sẵn sàng khác nhau theo tính năng: AutoRAG và suy luận phân tán trên EKS vẫn là Technology Preview. 1339