HongYun השיקה את HyperLM V2.5, פלטפורמה משולבת לאימון ולהסקה של מודלי שפה גדולים. לפי החברה, הגרסה החדשה הותאמה לעומק למאיץ Ascend 950DT של Huawei, תואמת למערכת Atlas 850E SuperPoD בקירור אוויר, ואף קיבלה הסמכה במסגרת Ascend Native של Huawei.
14
18
המסר המרכזי של ההשקה הוא שהפעלת מודל על חומרה מסוימת אינה מספיקה: HongYun מבקשת להראות שהפלטפורמה יכולה לסייע לארגונים להפיק יותר מהמאיצים עצמם. זו הצהרת החברה, ולא תוצאה שאומתה באופן עצמאי בדיווחים הזמינים.
מה נוסף בגרסה החדשה?
בדיווחים על HyperLM V2.5 מוזכרות תמיכה ב-UnifiedBus 2.0, כוונון mxFP4, חלוקת מאיצים וירטואליים מסוג vNPU, וכן הפרדה בין שלבי ה-prefill וה-decode בתהליך ההסקה. אלו מוצגים כחלק מההתאמה לחומרת Ascend ומניהול עומסי העבודה של המודלים.
7
14
החברה מכוונת, לדבריה, לשימושים ארגוניים וממשלתיים, ובהם שיחות בקנה מידה גדול, עיבוד מסמכים ארוכים והסקה מתמשכת של סוכני AI. ההכרזה מציגה את Atlas 850E המקוררת באוויר כאפשרות שעשויה להתאים גם למרכזי נתונים קיימים ללא שינויים נרחבים בתשתית. עם זאת, מדובר בטענות ובמסגור של החברה, ולא בתוצאות פריסה שאומתו באופן בלתי תלוי.
18
כלי ניטור ותוכניות להמשך
תיאור נוסף של ההכרזה מפרט ניטור של עומס החישוב, השימוש בזיכרון, רוחב הפס, זמן התגובה של ממשקי API ונפח הבקשות. לפי אותו תיאור, הפלטפורמה כוללת גם התרעות על ירידה בביצועים, איתור תקלות ותזמון משימות לפי רמות עדיפות.
28
HongYun מתכננת להמשיך בפיתוח עבור מערכות Huawei Ascend וגם עבור שבבי DCU של Hygon, עם דגש על תזמון בין סוגי חומרה שונים, האצת הסקה, מטמון חכם והתאמה ליישומי סוכני AI.
28
מה עדיין לא ידוע?
הדיווחים הזמינים אינם מציגים בדיקות ביצועים עצמאיות או תוצאות מפריסות ייצור שמוכיחות כי HyperLM V2.5 משיגה את רמת ניצול החומרה שהחברה מייחסת לה. לכן, המסקנה המבוססת ביותר היא שהגרסה החדשה משלבת התאמות ייעודיות ל-Ascend עם יכולות הפעלה וניהול; הביצועים בפועל יצטרכו להיבחן בפריסות מדודות.
14
18