מאחורי אשכול ה-TPU המקומי של China Telecom בהאנגג'ואו

הנתון הבולט בפרויקט בהאנגג'ואו הוא אמנם 1,024 שבבים, אך המשמעות המעשית שלו נמצאת במה שנבנה סביבם. סניף China Telecom בהאנגג'ואו, ZTE ו-Zhonghao Xinying שילבו שבבי Chana TPU מהדור הראשון עם פלטפורמת המחשוב Taize, שרתים, רשת אשכולות ותוכנת תזמון, למערכת בהיקף מוצהר של 400 PFLOPS. היא מיועדת לאימון מודלים גדולים, להסקת AI ולמחשוב מדעי. בדיווחים היא מתוארת כפריסת אשכול ה-TPU המקומי רחבת-ההיקף הראשונה במערך China Telecom, וכאשכול ה-TPU המקומי הראשון במזרח סין בהיקף של אלף כרטיסים. 1720

מה נפרס בפועל

השלב הראשון מבוסס על 1,024 שבבי Chana TPU ועל פלטפורמת Taize של Zhonghao Xinying. לפי השותפים, כל שכבות המערכת — המאיץ, חומרת השרתים, רשת האשכולות ותזמון משאבי המחשוב — נבנו מקומית. 1718

ההבחנה הזו חשובה: אשכול AI גדול אינו רק אוסף של מאיצים. הביצועים שניתן לקבל בפועל תלויים בהתאמה בין השרתים, מארג הרשת, תוכנת המודל ומנגנון התזמון. המטרה המוצהרת כאן היא להפוך את ה-TPU משבב הדגמה לשירות מחשוב שאפשר להפעיל ולנהל. 18

למה הפרדת Prefill–Decode עומדת במרכז טענת החיסכון

בהסקה של מודלי שפה גדולים יש שני שלבים שונים:

• Prefill: עיבוד הפרומפט של המשתמש ובניית ההקשר הפעיל של המודל.
• Decode: יצירת טוקני הפלט, אחד אחר השני.

לשני השלבים דרישות משאבים שונות. הפרדה ביניהם מאפשרת להקצות ולתזמן בנפרד את הקיבולת לעיבוד הקלט ואת הקיבולת ליצירת הפלט, במקום לגרום לאותו מאגר מאיצים לשרת את שתי המשימות תחת אותו תזמון. בפריסות ייצור, גישה כזו דורשת גם תזמור אשכולות והגדרות רשת מתאימות. 2

Hangzhou Telecom מסרה כי לאחר חודשים של כוונון חומרה ותוכנה — כולל גרסאות מודל, אופרטורים, תצורות שרתים, רוחב פס רשת ושיטות תזמון — יעילות הפקת הטוקנים עלתה ביותר מפי 10 לעומת תחילת השנה. עוד נמסר כי העלות למיליון טוקנים ירדה מכ-100 יואן לפחות מ-10 יואן. 911

חשוב לקרוא את המספרים האלה כתוצאות שדווחו בידי המפעיל, ולא כמדדי TPU אוניברסליים. הדיווחים הזמינים אינם מפרטים את תמהיל המודלים, הדיוק החישובי, גודל האצוות, דפוסי התעבורה, שיעור ניצול החומרה או שיטת חישוב העלות. לכן אי אפשר לשחזר באופן עצמאי את החיסכון הנטען או להשוותו ישירות לפלטפורמת הסקה אחרת.

מה תורם המודל המשולש של הפרויקט

האשכול מחבר שלוש יכולות שבדרך כלל נבחנות בנפרד:

• Zhonghao Xinying מספקת את שבב Chana TPU ואת פלטפורמת Taize. לפי הדיווחים, ל-Chana ליבת IP, מערך הוראות ופלטפורמת מחשוב שפותחו עצמאית. 1819
• ZTE שותפה בבנייה הכוללת רשתות תקשורת, אינטגרציית שרתים ותשתית האשכול. 18
• China Telecom בהאנגג'ואו מספקת את סביבת ההפעלה למסירת קיבולת מחשוב וניהולה בהיקף גדול.

עבור שבב AI מקומי, סביבת מפעיל כזו מעבירה את המבחן ממפרטי שיא של שבב בודד לאספקת שירות: תזמון, התאמת מודלים, התנהגות הרשת ותפעול שוטף משפיעים כולם על יכולת הלקוחות לקבל קיבולת הסקה יציבה וצפויה. ארכיטקטורת הפרויקט כוללת במפורש משאבי מחשוב, תזמון, התאמת מודלים, ניהול תפעולי ויישומים ענפיים. 18

ההזדמנות — והאתגר הקשה יותר בתוכנה

TPU הוא מאיץ AI המותאם לחישובי טנזורים. הערך שלו אינו נמדד רק בשיא ה-FLOPS, אלא גם ביכולתו להריץ ביעילות עומסים עתירי פעולות מטריצה, הנפוצים באימון ובהסקה של מודלים גדולים. אולם בקנה מידה של אשכול, ביצועי המאיץ תלויים גם בקישוריות, בהתנהגות הזיכרון, בתקשורת הקולקטיבית, בתזמון, באמינות ובתאימות לתוכנת המודלים.

לכן חלופה מקומית צריכה להוכיח יותר מכך שהסיליקון עובד. מודלים, מנועי הסקה, אופרטורים, שיטות קוונטיזציה ותהליכי עבודה של לקוחות צריכים לפעול באופן אמין על המחסנית החדשה. הדיווחים תומכים בקיום הפריסה בהאנגג'ואו ובהרחבה המתוכננת, אך אינם מבססים תאימות רחבה למערכות התוכנה המקובלות סביב GPU, על פני מודלים ומסגרות עבודה שונות.

השלב השני: Xuyu ויעד של יותר מ-10,000 PFLOPS

השותפים מתכננים שלב שני המבוסס על Xuyu, ה-TPU מהדור השני של Zhonghao Xinying, עם היקף מחשוב כולל מתוכנן של יותר מ-10,000 PFLOPS. 1719

לפי נתוני החברה, Xuyu מספק 896 TFLOPS בחישוב נקודה צפה בדיוק מעורב ו-1,792 TOPS להסקה ב-8 ביט, עם הספק נומינלי של 600 ואט. החברה גם טוענת לביצועים גבוהים בערך פי שלושה מ-Chana ולצריכת חשמל נמוכה ב-50% לעומת שבבים קונבנציונליים בעלי ביצועים דומים. אלה מפרטים שדווחו על ידי החברה. 1920

ברמת המערכת, Xuyu מתוכנן לסופר-צמתים שבהם עד 2,048 שבבים מחוברים בקישור אופטי מלא, לפי המצגת הציבורית של החברה. 20

מה האשכול בהאנגג'ואו באמת מדגים

הפרויקט מדגים ניסיון להרכיב מחסנית מחשוב AI מקומית, מהשבב ועד הפלטפורמה: מאיץ, מערך הוראות, שרתים, רשת, תזמון ותפעול שירות. 1819 המבחן המשמעותי יהיה יכולתה של מחסנית זו להחזיק עומסי ייצור מגוונים, עם תוכנה תואמת, ביצועים צפויים וכלכלה שקופה.

פריסת ה-400 PFLOPS וההרחבה המתוכננת עם Xuyu דווחו במספר מקורות. לעומת זאת, הטענות הבולטות יותר — שיפור של יותר מפי 10 ביעילות הפקת הטוקנים ועלות של פחות מ-10 יואן למיליון טוקנים — הן בשלב זה טענות של המפעיל ומשתתפי הפרויקט. הן עשויות לשקף יעד אפשרי במערכת הסקה שמנוצלת טוב יותר, אך ללא מתודולוגיית מדידה ופרטי עומס עבודה, אין להן אימות עצמאי. 911