레드햇은 2026년 9월 11일 **레드햇 AI 3.5의 일반 공급(GA)**을 발표하면서, 기업 AI를 개별 부서의 실험 또는 파일럿 묶음이 아니라 하이브리드 환경에서 운영 가능한 거버넌스·관측성·멀티테넌시 기반 서비스로 전환하는 데 초점을 맞췄다. 핵심 메시지는 배포 전 신뢰성 검증, 공유 GPU의 효율적 운영, 애플리케이션과 추론 서비스의 반복 가능한 배포를 하나의 운영 체계로 묶는다는 것이다.
16
8
파일럿을 넘기 위해 추가된 운영 장치
배포 전 안전성·거버넌스 검증
EvalHub는 고객이 구축하거나 맞춤화한 모델, 검색증강생성(RAG) 파이프라인, AI 에이전트를 대상으로 위험 중심의 안전성 벤치마킹과 감사 가능한 컴플라이언스 인증을 자동화하는 기능으로 일반 공급된다. 조직은 운영 배포 전 프롬프트 인젝션이나 탈옥(jailbreak) 노출 같은 문제를 점검할 수 있다.
13
8
모델 선택에 필요한 근거 제공
레드햇은 Google, NVIDIA, Alibaba Cloud 등을 포함한 공급자의 검증 모델을 20개 이상 추가했다. 이 카탈로그에는 안전성, 개인정보식별정보(PII) 노출, 유해성 위험 관련 정보가 포함된다. 즉, 각 개발팀이 별도의 평가 절차를 처음부터 설계하기보다 플랫폼 운영팀이 모델 채택 결정을 뒷받침할 근거를 확보하도록 돕는 방식이다.
3
4
공유 GPU를 위한 우선순위와 비용 통제
AI를 전사 서비스로 운영할 때 GPU는 가장 비싼 공용 자원 중 하나다. 레드햇 AI 3.5의 공정 배분 스케줄링, 우선순위 인지 서빙, 승인 제어, 우선순위 기반 요청 라우팅은 특정 워크로드나 팀이 GPU 용량을 독점하지 않도록 설계됐다. 사용자별 토큰 계량도 제공해 서비스 중요도에 따른 우선순위 운영과 팀 단위 쇼백·차지백의 기반을 마련한다.
4
5
실행 중인 AI 서비스의 상태를 보는 관측성
새 관측성 대시보드는 추론 서비스의 상태, GPU 사용률, 모델 성능 신호를 노출한다. 플랫폼 운영자는 서비스가 실행되는 동안 용량 부족, 가용성 저하, 품질 문제를 파악할 수 있다. 이는 모델을 한 번 배포하는 것과 지속적으로 운영하는 것 사이의 간극을 줄이기 위한 기능이다.
4
16
RAG와 에이전트 개발도 다국어로 확장
AutoRAG에는 영어 이외 언어와 여러 언어가 섞인 문서 코퍼스를 다룰 수 있는 다국어 지원이 추가됐다. 언어 감지, 실험 구성, CJK·키릴·라틴 문자 등 비영어권 스크립트를 고려한 청킹 전략, 다국어 임베딩 모델을 활용할 수 있다. 레드햇은 이를 기업 데이터 검색, 대화형 테스트, 에이전트형 애플리케이션에 활용할 수 있도록 제시했다. AI Hub 템플릿은 코드 리뷰, 문서 처리, 리서치 워크플로를 위한 출발점도 제공한다.
1
13
하이브리드·서드파티 쿠버네티스에서의 추론
레드햇 AI Inference 3.5는 NVIDIA CUDA, AMD ROCm, Google TPU, Intel Gaudi, IBM Spyre 가속기를 위한 최적화된 추론 이미지를 지원한다. 또한 llm-d 기반 분산 추론은 Azure Kubernetes Service(AKS)와 CoreWeave Kubernetes Service(CKS)에서 지원된다.
3
8
4
다만 기능의 성숙도는 모든 플랫폼에서 동일하지 않다. Amazon EKS의 추론 인지 스케줄링은 기술 프리뷰로 명시돼 있으며, 레드햇의 프로덕션 서비스 수준 협약(SLA) 대상이 아니고 프로덕션 사용도 권장되지 않는다. 반면 Azure와 CoreWeave 경로는 지원 배포 방식이다.
8
4
NVIDIA와의 통합이 의미하는 것
**NVIDIA와 함께하는 레드햇 AI 팩토리(Red Hat AI Factory with NVIDIA)**에서는 이러한 기능들이 NVIDIA 가속 인프라 위의 표준화된 운영 계층으로 작동한다. 기업은 공통의 쿠버네티스 중심 방식으로 모델을 검증하고, GPU 용량을 공정하게 배분하며, 서빙 상태를 모니터링하고, 하이브리드 인프라 전반에 배포할 수 있다. 레드햇이 데이터 과학 실험 단계와 엔터프라이즈 운영 단계 사이의 인수인계 공백을 줄이려는 방식이다.
16
3
IBM·레드햇의 더 큰 전략과의 연결
이번 업데이트는 오픈 하이브리드 클라우드 인프라와 관리 가능한 AI 운영을 결합하려는 IBM·레드햇의 전략을 강화한다. 별도로 LTM은 IBM 및 레드햇과 협력해 오픈소스 소프트웨어 취약점을 식별·우선순위화·수정하도록 돕는 Lightwell을 추진하고 있다. 이는 취약한 서드파티 의존성에서 발생하는 위험을 낮추기 위한 IBM·레드햇 관련 이니셔티브다.
4
8
결국 레드햇 AI 3.5의 목표는 더 많은 모델을 단순히 배포하는 데 있지 않다. 기업이 모델의 위험을 사전에 확인하고, 제한된 GPU를 여러 조직에 배분하며, 실행 중인 서비스의 상태와 품질을 관찰하고, 서로 다른 인프라에서도 일관되게 추론을 운영할 수 있게 하는 데 있다. 이 조합이 AI 파일럿을 신뢰 가능한 프로덕션 규모의 하이브리드 클라우드 인프라로 옮기는 기반이 된다.