답변게시됨6시간 전Last edited 13분 전28 소스

구글, TPU Raiden 오픈소스화…엔비디아 NIXL과 정면 승부

구글, TPU 추론 최적화 라이브러리 'TPU Raiden'을 아파치 2.0 라이선스로 오픈소스 공개 TPU Raiden은 프리필(Prefill)과 디코드(Decode) 인스턴스 간 KV 캐시 전송을 담당하며, 엔비디아 NIXL의 TPU 버전 자체 TPU 인터커넥트(ICI) 패브릭 기반 네트워크를 사용하며, vLLM, SGLang, llm d 등 주요 프레임워크와 연동

Studio Global AI로 검색 및 팩트체크 인기 페이지 더 보기

Conceptual illustration of Google's TPU Raiden library handling KV-cache transfer between prefill and decode instances in a disaggregated LLM inference architecture, showing data f — What does Google's open-source TPU Raiden library do for KV-cache transfer in disaggregated LLM inference, and how does it fit into the broaTPU Raiden enables efficient KV-cache movement between prefill and decode TPU instances in disaggregated LLM serving, competing directly with NVIDIA's NIXL.
AI 프롬프트
Create a landscape editorial hero image for this Studio Global article: What does Google's open-source TPU Raiden library do for KV-cache transfer in disaggregated LLM inference, and how does it fit into the broa. Article summary: Google has quietly open-sourced **TPU Raiden** — an inference optimization library for TPUs that serves as the functional equivalent of NVIDIA's NIXL, specifically handling KV-cache transfer between prefill and decode in. Topic tags: general, documentation, general web, user generated, academic. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, w
openai.com

구글이 자체 TPU(Tensor Processing Unit)용 추론 최적화 라이브러리인 TPU Raiden을 조용히 오픈소스로 공개했습니다. 이 라이브러리는 엔비디아의 NIXL(NVIDIA Inference Xfer Library)과 기능적으로 동등한 계층으로, 분리형(disaggregated) LLM 추론에서 발생하는 KV-캐시 전송을 처리하고, 외부 스토리지로의 KV-캐시 오프로딩을 위한 기본 기능을 제공합니다 . 아파치 2.0 라이선스로 구글 조직名下 깃허브(GitHub)에 공개된 Raiden은 AI 추론 인프라를 둘러싼 경쟁에서 중요한 한 걸음을 의미합니다 소.

TPU Raiden은 분리형 추론 아키텍처의 가장 큰 병목 현상을 해결하는 데 초점을 맞춥니다. 즉, 프롬프트의 컨텍스트를 처리하는 '프리필(Prefill)' 작업자와 토큰을 하나씩 생성하는 '디코드(Decode)' 작업자 간에 키-값(KV) 캐시 텐서를 빠르게 이동시키는 것입니다 .

TPU Raiden의 KV-캐시 전송 기능

Raiden의 핵심 기능은 세 가지로 나뉩니다.

인스턴스 간 KV-캐시 이동. 분리형 서빙 아키텍처에서 프리필 TPU 인스턴스에서 디코드 TPU 인스턴스로 키-값 텐서를 전송합니다. 이를 통해 두 단계를 각각 전용 하드웨어에서 실행할 수 있습니다 . 이는 GPU 기반 환경에서 엔비디아 NIXL이 수행하는 핵심 작업과 동일합니다 .

Studio Global AI

Search, cite, and publish your own answer

Use this topic as a starting point for a fresh source-backed answer, then compare citations before you share it.

Studio Global AI로 검색 및 팩트체크

사람들은 또한 묻습니다.