AI基礎設施的競爭,正在不只是「有多少運算晶片」的問題,也愈來愈是「資料能否及時送到晶片手上」的問題。
由英特爾資深人士創立的Delos Data宣布募得超過1億美元,將用於開發可加快AI資料中心內部資料傳輸的晶片與軟體。它鎖定的痛點,是昂貴的GPU與其他加速器雖然通電運轉,卻因等待其他元件送來資料而無法進行有效運算。
1
2
Delos Data要做的是什麼?
Delos Data開發的是AI資料中心的網路矽晶片與軟體,負責讓運算、記憶體及儲存等元件之間更有效率地通訊。公司推出的Delos Nonstop AI,包括Data Interface與參考架構,主打為代理式AI(agentic AI)工作負載提供低延遲、高頻寬且具韌性的基礎設施。
2
7
白話來說,Delos希望資料中心業者不必把網路設計綁定於單一加速器架構;即使日後採用的處理器組合改變,各元件仍能快速交換資料。路透報導指出,該公司瞄準的是日益「異質化」的AI叢集:底層晶片種類持續演變,但裝置彼此仍必須迅速溝通。
1
為何AI資料中心的網路變得更重要?
AI熱潮初期,大型運算叢集多半以輝達(Nvidia)GPU為主,並透過輝達自家的網路技術互連。不過,資料中心的重心正從訓練模型,轉向回應使用者請求的推論工作;其中也包含需要執行多步驟任務的AI代理。
同時,業者可選擇的運算硬體愈來愈多,包括AMD、Cerebras的產品,以及輝達本身的不同類型晶片。
1 這使得資料中心不再能被視為一批規格完全相同、以單一供應商互連技術連接的處理器。網路必須在不同元件之間維持高速資料流動,並提供互動式推論與代理式AI所需的低延遲。
Delos的產品邏輯正在於此:晶片架構愈不一致,能彈性搬運資料的網路層就愈有價值。
1
7
這筆資金要解決的經濟問題:昂貴硬體在「空等」
Delos表示,資金將用於擴大軟硬體工程團隊、加快產品開發並拓展銷售。
2 背後要處理的,是AI資料中心相當昂貴的一種低效率:加速器已部署、已耗電,卻在等資料到位。
本輪投資人Playground的合夥人、前英特爾執行長基辛格(Pat Gelsinger)形容,若裝置對裝置之間的通訊協調不佳,營運商可能只是在維持「發熱的硬體、燃燒的瓦數」,但硬體實際上幾乎閒置。
1
也就是說,單純增加GPU或其他加速器,不必然能等比例提升有效AI容量;若網路無法在對的時間把資料傳到對的地方,新增硬體的效益就會被卡住。
不押注「下一代AI架構」,而是押注資料流動能力
Delos共同創辦人兼技術長Dan Daly表示,沒有人能確知「代理式AI的下一個基礎設施架構會是什麼」;公司能做的,則是提供極快速的資料傳輸方式,支援未來架構所需的資料流。
1
這正是Delos對客戶的主要訴求。它並不是要求資料中心預測哪一款AI晶片、哪一種代理式AI設計最終會勝出,而是將網路定位成可跨越不同硬體與工作負載變化的共通層。
重點整理
Delos Data這輪超過1億美元的募資,反映出AI基礎設施的一項新判斷:AI容量受限的因素,不只是GPU或其他加速器的供應量,也包括把這些元件串連起來的網路能力。
1
2
如果異質運算與由AI代理驅動的推論成為資料中心的長期主流工作負載,誰能讓不同元件持續快速交換資料、減少耗電硬體閒置,誰就可能在AI資料中心的效能與成本競爭中取得優勢。