레드햇 AI 3.5: 파일럿 AI를 거버넌스 갖춘 운영 환경으로 옮기는 방법

레드햇 AI 3.5는 새로운 단일 모델이나 챗봇 기능보다, 기업 AI를 파일럿에서 통제 가능한 운영 서비스로 전환하는 데 초점을 둔 업데이트다. 배포 전 평가, 여러 팀이 함께 쓰는 고가 GPU 자원 관리, 서비스 가동 후 추론 상태 모니터링을 하나의 운영 흐름으로 묶는 것이 핵심이다. 레드햇은 2026년 9월 9일 AI 3.5를 발표했고, 9월 11일 정리 글에서도 안전성·운영 통제·성능 투명성을 강조했다. 4315

핵심 변화: EvalHub 정식 출시

가장 눈에 띄는 추가 사항은 모델 및 에이전트 평가 도구인 EvalHub의 일반 제공(GA)이다. 고객이 직접 가져오거나 맞춤화한 모델, 검색증강생성(RAG) 구성, AI 에이전트를 대상으로 사용할 수 있다. 팀은 프롬프트 인젝션과 탈옥(jailbreak) 같은 위험에 대한 안전성 중심 벤치마크를 수행하고, 결과를 바탕으로 규정 준수 목적의 인증 자료를 생성할 수 있다. 13

프로토타입에서 잘 작동하는 모델이 곧바로 기업 업무에 투입 가능한 것은 아니다. EvalHub는 애플리케이션 팀마다 제각기 테스트와 문서화 체계를 만드는 대신, 배포 전 반복 가능한 평가 단계를 마련하려는 기능이다.

레드햇은 검증된 모델 카탈로그에 Google, NVIDIA, Alibaba Cloud 등의 모델을 포함해 20개 이상이 추가됐다고 밝혔다. 카탈로그 평가에는 Garak 벤치마크 결과와 함께 유해성, 개인정보식별정보(PII) 노출 가능성 지표가 포함돼 모델 선택 시 참고 근거를 제공한다. 34

공유 GPU를 관리형 자원으로

AI 파일럿은 보통 전용 인프라와 제한된 사용자만으로 운영된다. 그러나 실제 서비스에서는 여러 워크로드의 경합, 업무 우선순위, 비용 귀속 문제가 발생한다. 레드햇 AI 3.5는 이를 겨냥해 공유 GPU 환경에서 공정 배분 스케줄링, 우선순위 인지 서빙, 승인 제어, 우선순위 기반 요청 라우팅 기능을 추가했다. 48

또한 사용자별 토큰 계량과 추론 상태, GPU 활용률, 모델 성능을 보여주는 대시보드를 제공한다. 운영팀은 이를 통해 누가 GPU 용량을 소비하는지 파악하고, 서빙 문제를 찾아내며, 팀 단위 비용 배분을 지원할 수 있다. 414

NVIDIA 가속기 기반 환경에서는 모델 서빙을 둘러싼 쿠버네티스 중심의 운영 계층이라는 의미가 크다. 워크로드를 평가하고, 공유 GPU 접근을 관리하며, 실행 중인 서비스를 관찰하는 방식이다. Red Hat AI Inference 3.5는 NVIDIA CUDA뿐 아니라 AMD ROCm, Google TPU, Intel Gaudi, IBM Spyre 가속기를 위한 최적화 추론 이미지도 일반 제공한다. 35

RAG·에이전트 도구도 확대됐지만, 모두 GA는 아니다

AI 3.5는 검색 및 에이전트 기반 애플리케이션용 도구도 확장했다. AutoRAG는 한국어를 포함한 비영어권 및 혼합 언어 문서 컬렉션을 위한 다국어 기능을 추가했다. 언어 감지, 언어 인지형 청킹, 다국어 임베딩을 최적화 탐색 범위에 포함한다. 1

레드햇은 AutoRAG를 문맥 기반 검색, 대화형 테스트, 시각적 디버깅 등을 통해 RAG 파이프라인을 평가·조정하는 도구로 설명한다. 다만 AutoRAG 자체는 Technology Preview다. 즉, 정식 제공 기능이 아니므로 프로덕션 서비스의 기반으로 삼을 때는 이 제공 상태를 별도로 고려해야 한다. 13

이 밖에 AI Hub 템플릿은 코드 리뷰, 문서 처리, 리서치 같은 워크플로의 출발점으로 제공된다. 43

OpenShift 밖으로 넓어진 하이브리드 클라우드 추론

이번 버전은 관리형 쿠버네티스에서 llm-d를 활용한 분산 추론의 선택지도 넓혔다. 레드햇 문서는 Azure Kubernetes Service(AKS), CoreWeave Kubernetes Service(CKS), Amazon EKS를 대상 플랫폼으로 명시하며, 쿠버네티스 1.33 이상과 GPU 노드 준비 등을 전제 조건으로 제시한다. 37

다만 이들 환경의 지원 상태는 동일하지 않다. 문서상 Amazon EKS의 llm-d 분산 추론은 Technology Preview이며, 레드햇의 프로덕션 서비스 수준 협약(SLA) 지원 대상이 아니고 프로덕션 사용도 권장되지 않는다. 반면 AI Inference 3.5 문서는 Azure와 CoreWeave Kubernetes Service에서의 배포 지침을 제시한다. 3940

기업 AI 팀에 달라지는 점

레드햇 AI 3.5는 파일럿 단계에서 분리돼 있던 네 가지 작업을 하나의 플랫폼 운영 방향으로 모은다.

1. 출시 전 신뢰성 확보: 맞춤형 모델, RAG 파이프라인, 에이전트를 안전성 위험 측면에서 평가하고 감사 가능한 산출물을 만든다. 13
2. 가동 중 자원 통제: 공정성 및 우선순위 정책으로 공유 GPU 자원을 배분하고 토큰 사용량을 측정한다. 4
3. 운영 가시성 확보: 추론, 자원 활용률, 모델 성능 대시보드로 배포 후 서비스를 관리한다. 14
4. 인프라 간 이식성 확대: 여러 가속기 스택에서 최적화 추론을 실행하고, 지원되는 쿠버네티스 환경에서 분산 추론을 배포한다. 3540

레드햇은 이 기능들을 하이브리드 환경 전반에서 AI를 확장하고, 개별 실험의 묶음이 아닌 공유 기업 인프라처럼 운영하기 위한 기반으로 제시한다. 43

별개 이슈: IBM·레드햇의 Lightwell 신뢰성 উদ্যোগ

IBM과 레드햇의 더 넓은 전략에는 취약한 제3자 오픈소스 의존성을 다루는 공동 이니셔티브 Lightwell도 포함된다. 9월에는 LTM이 IBM 및 레드햇과 함께 AI 기반 취약점 개선을 위한 Lightwell 협업을 발표했다. 이는 Red Hat AI 3.5의 기능은 아니며, 소프트웨어 공급망 보안에 관한 별도 사업이다. 다만 검증과 운영 위험 축소를 강조하는 양사의 큰 방향성을 보여준다. 2425

정리

레드햇 AI 3.5의 주된 약속은 운영에 있다. 플랫폼 팀이 AI를 배포 전에 검증하고, 공유 가속기 인프라를 관리하며, 하이브리드 환경 전반의 모델 서빙을 관찰하도록 돕는다는 것이다. EvalHub의 일반 제공이 중심축이며, GPU 스케줄링·토큰 계량·관측성은 파일럿에서 흔히 비어 있던 ‘배포 후 운영’ 문제를 겨냥한다. 다만 모든 기능이 정식 제공되는 것은 아니다. AutoRAG와 EKS 분산 추론은 여전히 Technology Preview다. 1339