AnswersPublished23 sources
TPU Raiden של גוגל: הספרייה בקוד פתוח שמאתגרת את NIXL של NVIDIA
גוגל שחררה לקוד פתוח את TPU Raiden תחת רישיון Apache 2.0, ספרייה שמטפלת בהעברת מטמון KV בין מופעי prefill ו decode בהסקת LLM מפוצלת, ומתפקדת כמקבילה הפונקציונלית של NVIDIA NIXL. Raiden מאפשר העברת מטמון KV ילידית ל TPU על גבי רשת ICI של גוגל, תומך בהורדה לשכבות אחסון חיצוניות, ומשתלב עם vLLM, SGLang ו llm d צעד משמע...
פורסם על ידינערך באמצעות DeepSeek-V4-Flashהתמונות נוצרו באמצעות GPT Image 1.5
Research answer
Key takeaways
- גוגל שחררה לקוד פתוח את TPU Raiden תחת רישיון Apache 2.0, ספרייה שמטפלת בהעברת מטמון KV בין מופעי prefill ו decode בהסקת LLM מפוצלת, ומתפקדת כמקבילה הפונקציונלית של NVIDIA NIXL.
- Raiden מאפשר העברת מטמון KV ילידית ל TPU על גבי רשת ICI של גוגל, תומך בהורדה לשכבות אחסון חיצוניות, ומשתלב עם vLLM, SGLang ו llm d צעד משמעותי באסטרטגיית גוגל להנגשת ערימת התוכנה של TPU.
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: What does Google's open-source TPU Raiden library do for KV-cache transfer in disaggregated LLM inference, and how does it fit into the broa. Article summary: Google has quietly open-sourced **TPU Raiden** — an inference optimization library for TPUs that serves as the functional equivalent of NVIDIA's NIXL, specifically handling KV-cache transfer between prefill and decode in. Topic tags: general, documentation, general web, user generated, academic. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, w
גוגל שחררה בשקט לקוד פתוח את TPU Raiden, ספריית אופטימיזציה להסקת מסקנות עבור TPUs שמהווה את המקבילה הפונקציונלית ל-NIXL של NVIDIA. Raiden מטפלת בהעברת מטמון KV (מפתח-ערך) בין מופעי prefill ו-decode בשירות LLM מפוצל, לצד פרימיטיבים להורדת מטמון KV לאחסון חיצוני . הספרייה שוחררה תחת רישיון Apache-2.0 ב-GitHub תחת הארגון של גוגל, ומהווה מהלך משמעותי במלחמה המתגברת על תשתיות הסקת מסקנות בינה מלאכותית .
TPU Raiden מכוונת לצוואר הבקבוק הקריטי בארכיטקטורות הסקה מפוצלות: העברת טנסורי מטמון המפתח-ערך בין עובדי prefill (שמעבדים את ההקשר של הפרמפט) לבין עובדי decode (שמייצרים טוקנים אחד בכל פעם) במהירות מספקת כדי לשמור על יעילות צינורות ההסקה .
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "TPU Raiden של גוגל: הספרייה בקוד פתוח שמאתגרת את NIXL של NVIDIA"?
גוגל שחררה לקוד פתוח את TPU Raiden תחת רישיון Apache 2.0, ספרייה שמטפלת בהעברת מטמון KV בין מופעי prefill ו decode בהסקת LLM מפוצלת, ומתפקדת כמקבילה הפונקציונלית של NVIDIA NIXL.
What are the key points to validate first?
גוגל שחררה לקוד פתוח את TPU Raiden תחת רישיון Apache 2.0, ספרייה שמטפלת בהעברת מטמון KV בין מופעי prefill ו decode בהסקת LLM מפוצלת, ומתפקדת כמקבילה הפונקציונלית של NVIDIA NIXL. Raiden מאפשר העברת מטמון KV ילידית ל TPU על גבי רשת ICI של גוגל, תומך בהורדה לשכבות אחסון חיצוניות, ומשתלב עם vLLM, SGLang ו llm d צעד משמעותי באסטרטגיית גוגל להנגשת ערימת התוכנה של TPU.
