الإجاباتمنشور23 المصادر
جوجل تطلق مكتبة TPU Raiden مفتوحة المصدر لمنافسة NVIDIA NIXL في نقل KV-Cache
أعلنت جوجل عن فتح المصدر لمكتبة TPU Raiden (Apache 2.0)، وهي مكتبة تحسين للاستدلال على وحدات TPU تتعامل مع نقل KV Cache بين مثيلات prefill و decode في بنية استدلال LLM اللامركزية، لتكون بذلك المعادل الوظيفي لمكتبة NVI... Raiden تمكن نقل KV Cache عبر شبكة ICI الخاصة بجوجل، وتدعم إلغاء التحميل إلى مستويات تخزين خارجية...
نشر بواسطةتم التحرير باستخدام DeepSeek-V4-Flashتم إنشاء الصور باستخدام GPT Image 1.5
إجابة البحث
الوجبات السريعة الرئيسية
- أعلنت جوجل عن فتح المصدر لمكتبة TPU Raiden (Apache 2.0)، وهي مكتبة تحسين للاستدلال على وحدات TPU تتعامل مع نقل KV Cache بين مثيلات prefill و decode في بنية استدلال LLM اللامركزية، لتكون بذلك المعادل الوظيفي لمكتبة NVI...
- Raiden تمكن نقل KV Cache عبر شبكة ICI الخاصة بجوجل، وتدعم إلغاء التحميل إلى مستويات تخزين خارجية، وتتكامل مع vLLM و SGLang و llm d، مما يمثل خطوة مهمة في استراتيجية جوجل لتوسيع نطاق برمجيات TPU خارجياً ومنافسة NVIDIA...
موجّه الذكاء الاصطناعي
openai.comCreate a landscape editorial hero image for this Studio Global article: What does Google's open-source TPU Raiden library do for KV-cache transfer in disaggregated LLM inference, and how does it fit into the broa. Article summary: Google has quietly open-sourced **TPU Raiden** — an inference optimization library for TPUs that serves as the functional equivalent of NVIDIA's NIXL, specifically handling KV-cache transfer between prefill and decode in. Topic tags: general, documentation, general web, user generated, academic. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, w
في خطوة هادئة لكنها جوهرية، قامت جوجل بفتح المصدر لمكتبة TPU Raiden، وهي مكتبة تحسين للاستدلال (inference) مصممة خصيصاً لوحدات TPU، وتؤدي نفس وظيفة مكتبة NVIDIA NIXL. Raiden تتعامل مع نقل بيانات KV-cache بين مثيلات prefill و decode في خوادم LLM اللامركزية (disaggregated LLM serving)، بالإضافة إلى توفير أدوات أساسية لإلغاء تحميل KV-cache إلى وحدات تخزين خارجية . تم إصدار المكتبة بموجب ترخيص Apache-2.0 على GitHub تحت حساب جوجل الرسمي، وهو ما يمثل خطوة مهمة في سباق البنية التحتية للاستدلال في الذكاء الاصطناعي .
ما الذي تفعله TPU Raiden فيما يخص نقل KV-Cache؟
تنقسم الوظائف الأساسية لـ Raiden إلى ثلاث قدرات رئيسية:
نقل KV-cache بين المثيلات (Inter-instance). تنقل المكتبة موترات key-value من مثيلات prefill (التي تعالج سياق الاستعلام) إلى مثيلات decode (التي تولد الرموز واحداً تلو الآخر) في بنية خدمة لا مركزية، مما يسمح بفصل هذه المراحل على أجهزة مخصصة . هذه هي نفس المهمة الأساسية التي تقوم بها مكتبة NVIDIA NIXL في البيئات المعتمدة على وحدات معالجة الرسوميات .
Studio Global AI
مواصلة البحث الخاص بك
تتضمن هذه الصفحة إجابة مدعومة بالمصدر يمكنك المتابعة داخل Studio Global.
يسأل الناس أيضا
ما هي الإجابة المختصرة على "جوجل تطلق مكتبة TPU Raiden مفتوحة المصدر لمنافسة NVIDIA NIXL في نقل KV-Cache"؟
أعلنت جوجل عن فتح المصدر لمكتبة TPU Raiden (Apache 2.0)، وهي مكتبة تحسين للاستدلال على وحدات TPU تتعامل مع نقل KV Cache بين مثيلات prefill و decode في بنية استدلال LLM اللامركزية، لتكون بذلك المعادل الوظيفي لمكتبة NVI...
ما هي النقاط الأساسية التي يجب التحقق منها أولاً؟
أعلنت جوجل عن فتح المصدر لمكتبة TPU Raiden (Apache 2.0)، وهي مكتبة تحسين للاستدلال على وحدات TPU تتعامل مع نقل KV Cache بين مثيلات prefill و decode في بنية استدلال LLM اللامركزية، لتكون بذلك المعادل الوظيفي لمكتبة NVI... Raiden تمكن نقل KV Cache عبر شبكة ICI الخاصة بجوجل، وتدعم إلغاء التحميل إلى مستويات تخزين خارجية، وتتكامل مع vLLM و SGLang و llm d، مما يمثل خطوة مهمة في استراتيجية جوجل لتوسيع نطاق برمجيات TPU خارجياً ومنافسة NVIDIA...
