Cambricon מהמרת על ניידות תוכנה, לא רק על שבבים

הצטרפותה של Cambricon לקרן PyTorch כחברת פלטינום היא בעיקר הימור ארוך טווח על תוכנה ועל אקוסיסטם — לא הכרזה חדשה על שבב. המטרה היא להפוך את מאיצי ה-MLU של החברה ליעד טבעי יותר לאורך מחזור החיים של פיתוח בינה מלאכותית: מבניית מודלים ואימונם ב-PyTorch ועד הרצת הסקה בסביבת ייצור. 5

בכנס PyTorch China שנערך בשנגחאי הצטרפו Cambricon ו-Alibaba Cloud כחברות פלטינום, ואילו Ant Group הצטרפה בדרגת Gold. דרגת פלטינום מעניקה ל-Cambricon מושב בדירקטוריון הקרן ונציגות במועצה המייעצת הטכנולוגית, TAC. 156

למה מושב בדירקטוריון חשוב

מושב בדירקטוריון אינו מבטיח שהצעות טכניות של Cambricon יאומצו. עם זאת, הוא מעניק לה מקום רשמי בדיונים על הייעוד, תחום הפעילות, המדיניות והכיוון הטכנולוגי של הקרן.

נציג Cambricon בדירקטוריון הוא Jin Wang, מנהל בכיר לתשתיות ולמסגרות עבודה של בינה מלאכותית. השתתפות החברה ב-TAC מקרבת אותה לדיונים טכניים שעשויים להשפיע על האופן שבו ממשקי backend למאיצים משולבים ומתוחזקים ב-PyTorch. 5

בפועל, אימוץ של מאיץ אינו נקבע רק לפי מפרטי השבב. מפתחים צריכים גם תמיכת framework אמינה, כלים תואמים, תיעוד שימושי, ממשקים יציבים ונתיב סביר להעברה לסביבת ייצור. ספק חומרה שנדרש לתחזק הסתעפות גדולה ונפרדת של PyTorch נושא בעלות תאימות מתמשכת בכל פעם שהפרויקט המרכזי מתעדכן.

„Upstream First”: ניסיון להימנע מערימת תוכנה נפרדת

Cambricon מתארת את גישתה כ-„Upstream First”. לדבריה, היא תרמה בתחומים מרכזיים ב-PyTorch, ובהם torch.compile, אופרטורים במצב Eager, סביבת הרצת התקן, מחשוב מבוזר, דיוק מעורב אוטומטי (AMP), ‏DataLoader ו-Profiler. 5

המשמעות האסטרטגית היא ניסיון לתרום דרך ההפשטות הכלליות של PyTorch, במקום להישען רק על מימוש מבודד וספציפי לספק. אם העבודה הזו תאושר ותתוחזק בפרויקט המרכזי, עשויים להיות לכך כמה יתרונות מעשיים:

• פחות עלויות תחזוקה: פחות צורך להתאים שוב ושוב backend נפרד לגרסאות חדשות של PyTorch.
• תהליך עבודה עקבי יותר: מפתחים יוכלו לעבוד עם ממשקי API וכלים מוכרים של PyTorch, ולא ללמוד סביבת תוכנה שונה מהותית.
• ניידות טובה יותר: קוד המודל והכלים שסביבו עשויים לדרוש פחות שינויים כאשר צוותים בוחנים פלטפורמות מאיצים נתמכות.
• אינטגרציות עמידות יותר: ממשקי framework משותפים יכולים להיות יציבים יותר מתיקונים חד-פעמיים הקשורים למחסנית תוכנה של התקן מסוים.

עבודת Torch-MLU של Cambricon, לרבות מסלול אינטגרציה בסגנון PrivateUse1, מצביעה על שימוש במנגנונים הקיימים של PyTorch להרחבת התמיכה להתקנים נוספים. היעד הוא להפחית את כמות הקוד הייחודי למאיץ שמשתמשים צריכים לכתוב — אך זו מטרה, לא הבטחה. התוצאה תלויה באיכות המימוש, בביקורת של קהילת הקוד הפתוח ובתאימות מתמשכת לגרסאות עתידיות של PyTorch.

מפיתוח ב-PyTorch ועד הסקה ב-vLLM

ההודעה על החברות בקרן מצביעה גם על יעד רחב יותר: תמיכה בנתיב המלא, מניסוי ראשוני ועד הסקה פרוסה בסביבת ייצור.

מנכ״ל קרן PyTorch, Mark Collier, הציג את האתגר כיכולת לאפשר למפתחים לבנות ולמטב מודלים ב-PyTorch, ולאחר מכן להגיש אותם ביעילות באמצעות vLLM. 5 מבחינת Cambricon, מדובר בשתי שכבות משלימות:

• תמיכה ב-PyTorch חיונית לפיתוח מודלים, אימון, קומפילציה, איתור תקלות וכלי האקוסיסטם.
• תמיכה ב-vLLM מתמקדת בשכבת ההגשה לייצור, שבה חשובים הסקה יעילה וגישה למודלים פתוחים נפוצים.

Cambricon מסרה שהיא ממשיכה לעבוד עם vLLM כדי לאפשר הרצת מודלים פתוחים על החומרה שלה, ומתכננת להרחיב השקעה בתשתיות קומפילציה, ב-CI/CD ובתמיכה שאינה תלויה בהתקן עבור ספריות התחום של PyTorch. 5 יחד, המאמצים האלה נועדו להפוך את פלטפורמת ה-MLU לשימושית לא רק בבנצ'מרקים או בהסבות נקודתיות של מודלים, אלא גם בזרימת עבודה שלמה — ממפתח ועד ייצור.

מה כדאי לעקוב אחריו מכאן

העדויות המשמעותיות ביותר יגיעו לאחר ההכרזה. מפתחים וצוותי תשתית יכולים לבחון סימנים מוחשיים להבשלת האינטגרציה:

1. תרומות שמוזגו לפרויקט המרכזי: שינויים שהתקבלו ב-PyTorch חשובים יותר מהצהרות כוונות.
2. תאימות בין גרסאות: התמיכה ב-Torch-MLU צריכה להתעדכן בקצב גרסאות PyTorch, בלי לדרוש כתיבה מחדש של יישומים.
3. כיסוי של עומסי עבודה אמיתיים: התמיכה צריכה להקיף ארכיטקטורות מודלים נפוצות, אימון מבוזר, מסלולי קומפילציה וכלי דיבוג.
4. איכות ההסקה בייצור: אינטגרציית vLLM צריכה לספק תמיכת מודלים אמינה ותהליכי פריסה שאפשר לתחזק.
5. הנחיות ברורות לשילוב מאיצים: דיוני TAC ונהלים עתידיים ב-PyTorch עשויים להעניק מסלול צפוי יותר ל-backend של חומרה.

המגבלה החשובה

חברות הפלטינום של Cambricon והייצוג שלה בגופי הניהול חשובים אסטרטגית, אך אינם מוכיחים שוויון ביצועים מול מאיצים אחרים, כיסוי רחב של מודלים או אישור אוטומטי לכל תכנון backend שהחברה תעדיף.

התוצאות תלויות במה שימוזג בפועל לפרויקט המרכזי, בדרך שבה הקהילה הטכנית של PyTorch וה-TAC יבחנו פתרונות מוצעים, וביכולתה של Cambricon לתחזק לאורך זמן אינטגרציות חזקות עם PyTorch ו-vLLM. לעת עתה, זהו בעיקר איתות לכך שהחברה מתחרה על לב המפתחים באמצעות תאימות תוכנה פתוחה והשתתפות באקוסיסטם — ולא רק באמצעות השקה נוספת של חומרה ביום הראשון. 5