AI基建而家面對嘅,唔單止係「夠唔夠GPU」問題,亦愈來愈係「資料搬得夠唔夠快」嘅問題。由Intel資深人士創立嘅新創公司Delos Data,宣布籌得超過1億美元,研發讓資料能夠喺AI資料中心內更快流動嘅晶片及軟件,目標係減少昂貴加速器等候資料、做唔到運算嘅時間。
1
2
Delos Data想解決乜嘢?
Delos Data開發嘅係資料中心網絡晶片及軟件,負責令運算器、記憶體同儲存設備之間可以高效交換資料。公司推出嘅 Delos Nonstop AI,包括Data Interface同參考架構,主打為代理式AI(agentic AI)工作負載提供低延遲、高頻寬同具韌性嘅基建。
2
7
簡單講,資料中心營運商未來未必想將整個網絡綁死喺單一種加速器架構;Delos嘅構想係,無論叢集入面採用邊一款處理器,都可以有效率噉連接同傳送資料。路透社報道指,Delos瞄準嘅正係愈來愈異質化嘅AI叢集:底層晶片組合持續變,但各裝置仍要高速溝通。
1
點解AI熱潮去到今日,網絡變得咁重要?
AI熱潮早期,大型叢集好多時以Nvidia GPU為主,並以Nvidia自家網絡技術互連。不過,資料中心嘅重心逐漸由訓練模型,轉向處理用戶請求,即係推論(inference);當中亦包括由AI代理逐步完成嘅多步驟任務。同一時間,營運商可選擇嘅運算硬件愈來愈多,包括AMD、Cerebras,以及Nvidia本身不同類型嘅產品。
1
呢個轉變令網絡設計唔可以再假設所有處理器都係同一款。系統需要喺不同元件之間快速傳送資料,同時維持互動式推論同代理式AI所需嘅低延遲。Delos嘅核心論點係:當算力架構愈唔統一,能夠靈活調度資料嘅網絡就愈值錢。
1
7
1億美元要處理嘅,係硬件「等料到」嘅浪費
Delos表示,資金會用作擴充軟件及硬件工程團隊、加快產品研發,以及發展銷售業務。
2
背後要解決嘅成本問題相當直接:GPU等加速器雖然昂貴又耗電,但如果資料未能及時由系統其他部分送到,佢哋就只能開住機等,未能產生實際運算。
前Intel行政總裁、現為投資方Playground合夥人嘅Pat Gelsinger形容,若裝置之間協調不足,營運商最終會得到「熱辣辣嘅硬件、燒緊嘅瓦數」(“hot hardware, burning watts”),但硬件實際上卻處於閒置狀態。
1 換句話講,單靠加更多加速器,未必會提升有效算力;網絡若供應唔切資料,新增硬件都可能只係空轉。
唔押注邊款晶片贏,而係押注資料一定要流動
Delos共同創辦人兼技術總監Dan Daly表示,公司無法知道「代理式AI下一代基建架構會係點」;其策略係提供一條極高速嘅資料通道,配合未來任何架構所需。
1
呢個分別正正係Delos嘅賣點:佢唔係要求客戶預測最後邊款AI晶片、邊種代理式AI設計會勝出,而係將網絡定位成一層共通基礎,讓資料中心可以隨住新處理器同新工作模式出現而調整。
重點:AI算力競爭,開始鬥埋「資料運輸力」
Delos Data籌得逾1億美元,反映業界愈來愈重視一件事:AI容量受制於嘅,不只係GPU同其他加速器嘅供應,仲包括連接佢哋嘅網絡。
1
2
如果由AI代理驅動、使用混合晶片嘅推論工作負載成為資料中心常態,邊個可以令各組件持續快速交換資料、減少高耗電硬件閒置,邊個就可能喺AI基建競爭中佔優。