行政總裁Finn Puklowski話,SN50晶片每秒可以生成600到700個token,相比之下,GPU大約只做到每秒250個token 。呢個接近3倍嘅速度提升,唔係淨係規格表上嘅數字遊戲;對嗰啲需要喺極短時間內互相溝通、行多步驟循環嘅自主AI Agent嚟講,每一毫秒嘅延遲都好致命,所以呢個速度係必須嘅。
General Compute已經落咗總值3億美元嘅SN50晶片訂單,並聲稱自己係全球第一間採用呢款晶片嘅新雲端公司 。呢一步正好呼應緊整個市場轉向推論專用晶片嘅大趨勢,由輝達用200億美元收購Groq,到Cerebras以570億美金估值上市,都可見一斑 。
不過,就算有世上最好嘅晶片,冇地方插電都係得物無所用。AI熱潮令數據中心建設出現咗樽頸位,新設施動輒要等幾年先起到好,仲要使一大筆資本開支。General Compute嘅應對方法,就係索性跳過成個建築過程。
關鍵喺硬件設計嗰度。有別於主導AI訓練、耗電量大又要用水冷散熱嘅GPU叢集,SambaNova嘅SN50晶片係用風冷,而且耗電量大幅減少。換句話說,佢哋唔需要貴價又專門嘅改造工程,可以安裝喺更多現有嘅數據中心設施入面 。
呢點衍生出呢間初創公司最具創意嘅基建玩法:同加密貨幣礦場做主機託管(colocation)。隨住加密貨幣挖礦利潤大不如前,好多礦場都揸住大把基礎設施——有巨大供電容量、工業級散熱同高速網絡嘅廠房——搵緊新用途 。General Compute嘅計劃好簡單,就係將佢哋啲風冷SN50機櫃直接放入呢啲「已裝修好」嘅設施,唔使使一蚊、唔使等多一日,就即刻有齊AI基建最難搞嗰幾瓣嘢 。
General Compute嘅策略,係一場對AI未來嘅兩面下注。喺硬件方面,佢哋賭嘅係畀自主AI Agent用嘅推論,將會自成一個極其龐大嘅市場,需要嘅係專用ASIC,而唔係攞訓練用嘅GPU頂檔。喺物流同基建方面,佢哋賭嘅係與其追逐晶片規格嘅邊際效能提升,不如善用現有設施、令晶片盡快上線先至最關鍵。
如果佢哋賭啱咗,General Compute將唔單止係一間新嘅雲端服務供應商,而係會變成一個藍圖,示範下一代AI公司點樣去解決行業最逼切嘅現實同財務瓶頸。