הסטארטאפים שרוצים להפוך את מחשב הגיימינג הביתי לתשתית AI

מחשב גיימינג חזק מבלה חלק ניכר מחייו כשהוא כבוי או עסוק במשחקים בלבד. Far Labs ו-Evolving Edge רוצות להפוך את הקיבולת הפנויה הזו לתשתית מחשוב מבוזרת: לחבר בעלי מחשבים לרשת, להריץ על ה-GPU או ה-CPU שלהם משימות AI, ולשלם להם עבור כוח מחשוב שנמדד ואומת. 26

החברות מכוונות בעיקר להסקה — השימוש במודל שכבר אומן כדי לענות על בקשות — ולא לאימון מודלי ענק. הרעיון מזכיר "Airbnb למחשוב AI": במקום שכל בקשה תעבור דרך חוות שרתים מרכזית, היא מנותבת לאחד ממחשבים רבים שמחוברים לרשת.

הפוטנציאל ברור: שימוש בחומרה שכבר קיימת, פיזור עומסים בין מיקומים רבים והפחתת התלות בספקי ענן. אך השאלה המורכבת אינה אם מחשב ביתי מסוגל להריץ מודל קוד פתוח. השאלה היא אם אלפי מחשבים שונים, שמתחברים ומתנתקים ללא הרף, יכולים לספק שירות מהיר, מאובטח וצפוי — במחיר שמשתלם גם ללקוחות וגם למפעילי המחשבים.

כך אמורה לעבוד רשת הסקה מבוזרת

במערכת טיפוסית יש שלושה רכיבים: בקשת לקוח, שכבת תזמור שבוחרת היכן להריץ אותה, ותוכנה שמותקנת על מחשב המארח ומבצעת את המשימה. המערכת צריכה להתחשב בגודל המודל, בזיכרון הזמין, בזמני התגובה, בזמינות המחשב, ביציבות החיבור ובמגבלות המשאבים שהגדיר בעליו.

Far Labs: ניתוב בזמן אמת ופיצול מודלים

FAR AI, שכבת המחשוב של Far Labs, מתארת את עצמה כשכבת הסקה מבוזרת שמחברת כרטיסי מסך יומיומיים ומנתבת בקשות לצמתים המתאימים ביותר בזמן אמת. החברה מציגה את המערכת כדרך לתמוך בעומסים אינטראקטיביים בלי להסתמך לחלוטין על אשכולות מרכזיים. 1112

לפי החומרים שסופקו, המתזמן של Far Labs אמור להיות מסוגל לפצל את עבודת המודל בין כמה מחשבים כאשר מחשב יחיד אינו מסוגל להחזיק את המודל כולו. כך ניתן אולי להשתמש בטווח רחב יותר של חומרה, אך המחיר הוא תיאום ותקשורת נוספים בין הצמתים. כל העברת מידע נוספת עלולה לפגוע בזמן התגובה ובאמינות.

Far Labs דיברה על יעד עתידי של פחות מ-100 אלפיות השנייה להרצה אינטראקטיבית. חשוב להדגיש: מדובר ביעד, לא במדידה שמוכיחה ביצועים מקצה לקצה. זמן התגובה בפועל כולל גם ניתוב, המתנה בתור, טעינת המודל, תקשורת בין מחשבים והחזרת התוצאה למשתמש.

Evolving Edge: סביבת הרצה המבוססת על Ray

Evolving Edge מתוארת כחברה המשתמשת ב-Ray, מסגרת קוד פתוח למחשוב מבוזר, כדי להקצות משימות להרצת מודלים בין המחשבים המשתתפים. ב-Ray ניתן לייצג משימות כרכיבים מנוהלים ולתזמן אותם על פני אשכול מחשבים. 56

Ray מספקת אבני בניין חשובות להרצה מבוזרת, אך השימוש בה אינו פותר מעצמו את בעיות השוק והתפעול. המפעיל עדיין צריך לזהות צמתים שנפלו או עומסים, להציב מודלים ביעילות, להתמודד עם תצורות חומרה שונות ולהחליט מתי יש להפעיל מחדש משימה או לשכפל אותה.

איך מגינים על מחשב ביתי שמריץ קוד של צד שלישי?

הפעלת קוד או עיבוד נתונים של צד שלישי על מחשב צרכני יוצרת בעיית אבטחה מורכבת בהרבה מהתקנת משחק או תוכנת שולחן עבודה רגילה. מערכת אמינה צריכה להגביל גם את הגישה של המשימה למחשב וגם את כמות המשאבים שהיא צורכת.

אמצעי הגנה אפשריים כוללים:

• הרצה בסביבה מבודדת או בארגז חול;
• הצפנת מידע בזמן העברתו ברשת;
• הגבלת השימוש ב-CPU, ב-GPU, בזיכרון, באחסון וברשת;
• הגבלת משך המשימה וסיום אוטומטי שלה; וכן
• תוכנת מארח שניתן לבדוק ולעדכן.

ארכיטקטורת הארגזים המבודדים המתועדת של Ray משתמשת בסביבות קלות ומבודדות ברמת הליבה עבור קוד לא מהימן וסוכני AI. המימוש הניסיוני שלה מבוסס על gVisor ועל סביבות OCI Container, ורכיבים המנוהלים ב-Ray יכולים לתזמן ולשלוט במשאבי הארגז. 17182021

היכולות האלה מוכיחות שמנגנוני אבטחה רלוונטיים קיימים בעולם התוכנה. הן אינן מוכיחות ש-Far Labs או Evolving Edge מפעילות בדיוק את ההגנות האלה בסביבת ייצור, שההגדרות שלהן מאובטחות במערכות הפעלה ביתיות, או שהצומת הפעיל מריץ את הקוד שבעל המחשב בדק.

תוכנת צומת בקוד פתוח עשויה לשפר את השקיפות ולאפשר למארחים לבדוק אילו משאבים נצרכים ולאילו נתונים יש גישה. אבל קוד פתוח לבדו אינו מהווה ערובה מלאה. המפעילים עדיין זקוקים לבניות הניתנות לשחזור, לעדכונים חתומים, להרשאות ברורות, לתגובה מהירה לחולשות ולהוכחה שהגרסה המותקנת תואמת לקוד שפורסם.

ההשוואה ל-Salad

Salad היא נקודת ההשוואה הברורה ביותר, משום שהיא כבר מפעילה שוק שמחבר כרטיסי מסך צרכניים לארגונים המחפשים כוח מחשוב. המודל שלה אינו נשען על בלוקצ'יין או על שכבת תיאום המבוססת על טוקנים. 13

Far Labs מדגישה ניתוב בזמן אמת והסקה מבוזרת, כולל האפשרות לפצל את עבודת המודל בין צמתים. Evolving Edge מתמקדת בסביבת הרצה מבוזרת המבוססת על Ray ובבטא פתוחה. היתרון של Salad הוא ניסיון תפעולי בשוק של כרטיסי מסך ביתיים; החברות החדשות יצטרכו להוכיח שהארכיטקטורות שלהן מסוגלות לספק זמינות, תמיכה, ביקוש וכלכלה דומים.

ההבחנה הזו חשובה: ביזור הוא ארכיטקטורה, לא תוצאה של ביצועים. רשת יכולה לכלול מחשבים רבים ועדיין להיות מנוהלת באופן ריכוזי, לא אמינה או לא כדאית כלכלית.

השאלה הגדולה: האם זה בכלל ישתלם לבעלי המחשבים?

התשלום ברוטו הוא רק נקודת הפתיחה בחישוב התשואה. בעל המחשב צריך להביא בחשבון גם את עלות החשמל, החום והקירור, חבילת האינטרנט, התחזוקה, פחת החומרה והזמינות המופחתת של המחשב לשימוש אישי.

גם רישום לרשת אינו שקול לניצולת. GPU שמחובר לשירות אך מקבל מעט משימות בתשלום עלול להרוויח מעט, ובכל זאת לצרוך חשמל וליצור בלאי או עלויות ניהול. בלי נתונים שקופים על התשלום, שיעור הניצולת, משך המשימות וצריכת החשמל, אי אפשר לחשב החזר השקעה אמין.

הרצת הסקה לאורך זמן עשויה לגרום ליותר חום, פעילות מאווררים ושימוש בזיכרון. השאלה אם הבלאי מוצדק כלכלית תלויה בדגם כרטיס המסך, במחיר החשמל המקומי, בזמינות, בעוצמת העבודה ובערך המכירה העתידי שלו. החומרים הזמינים אינם מוכיחים שמדובר בהכנסה פסיבית או שההשתתפות תהיה רווחית עבור בעל מחשב ממוצע.

למה טענות על מהירות ועלות דורשות נתוני ייצור?

לחומרה צרכנית מבוזרת עשוי להיות יתרון עלות: המחשבים כבר קיימים, וחלק מהבעלים עשויים להסכים להפיק הכנסה מקיבולת שאינה בשימוש. אבל הרשת עדיין צריכה לממן תזמור, רוחב פס, ניטור, משימות שנכשלו, שכפול, תמיכה, אבטחה ותשלומים למארחים.

אותו עיקרון חל על זמן התגובה. הפעלה מהירה של ארגז מבודד בפריסת Kubernetes מסוימת אינה שקולה להסקה מקצה לקצה בפחות מ-100 אלפיות השנייה דרך רשתות ביתיות. הנתון של פחות מ-100 אלפיות השנייה בתיעוד Ray מתייחס להפעלת ארגז בסביבה מסוימת — לא לערובה לביצועי רשת של צמתים צרכניים באינטרנט. 17

גם מערכות AI מבוזרות נשענות בדרך כלל על חישוב מחוץ לבלוקצ'יין. בלוקצ'יינים כלליים אינם מתאימים במיוחד לנפח החישוב והנתונים של עומסי למידת מכונה, ולכן הם משמשים לרוב כשכבת תיאום או תשלומים, ולא כמקום שבו המודלים עצמם רצים. 1

בנוסף, טענות על "חישובי AI שימושיים" בפרויקטים קודמים בתחום דורשות אימות עצמאי. עבור Far Labs ו-Evolving Edge, מדדים בלתי תלויים של תפוקה, דיוק, זמינות, זמן תגובה, אבטחה ותשלומים יהיו חשובים יותר מהצהרות שיווקיות.

האם רשת גדולה תשרוד נפילה של צמתים רבים?

רשת מבוזרת יכולה להיות עמידה יותר ממחשב יחיד אם יש לה מספיק קיבולת חלופית והיא מסוגלת להעביר משימות במהירות כאשר צמתים נעלמים. מחקר הקשור ל-Ray מתאר שחזור של תלויות משימות שאבדו כאשר צמתים מוסרים, וחזרה לקצב עיבוד קודם כאשר הם חוזרים. 30

אבל היתרון הזה אינו אוטומטי. רשת הסקה בסביבת ייצור תצטרך יתירות, שכפול מודלים, הצבה חכמה של משימות וזיהוי מהיר של תקלות. תקלות מתואמות — למשל תקלה אצל ספק אינטרנט, הפסקת חשמל אזורית, עדכון תוכנה פגום או ירידה בתמריץ למארחים — עלולות להפיל צמתים רבים בבת אחת.

פיצול מודל יוצר פשרה נוספת. הפצת מודל בין כמה מחשבים עשויה לאפשר שימוש בחומרה שלא יכלה להריץ אותו לבדה, אך היא גם מגדילה את תעבורת הרשת ומוסיפה נקודות כשל. האיזון המעשי יהיה תלוי בסוג העומס ובאסטרטגיית התזמון של המפעיל.

מה בעלי GPU צריכים לבדוק לפני ההצטרפות?

עד שהרשתות האלה יפרסמו ראיות חזקות יותר, כדאי להתייחס להשתתפות כאל שירות ניסיוני עם תשואה משתנה — לא כהכנסה פסיבית מובטחת. לפני התקנת תוכנת הצומת, מומלץ לבדוק אם קיימים:

1. נוסחת תשלום ברורה והיסטוריית תשלומים;
2. נתוני ניצולת בפועל, ולא רק מספר המחשבים שנרשמו;
3. הערכות מציאותיות של צריכת חשמל וקירור;
4. תיעוד של הרשאות ושל מגבלות משאבים;
5. תוצאות של בדיקות אבטחה או ביקורת עצמאית;
6. מדידות של זמן תגובה, זמינות ושיעור משימות שנכשלו; וכן
7. דרך פשוטה לעצור או להסיר את הצומת.

Far Labs ו-Evolving Edge בוחנות רעיון הגיוני: להשתמש בחומרה צרכנית מפוזרת כדי להשלים את קיבולת ה-AI המרכזית. הטכנולוגיה עשויה להתאים למודלים קטנים יותר ולעומסים מסוימים. המודל העסקי הרחב עדיין פתוח, עד שהחברות יוכיחו שהרשת מאובטחת, מהירה, עמידה ובעלת ניצולת מספקת כדי לפצות את המארחים לאחר כיסוי העלויות האמיתיות שלהם.