一間 1500 萬美元的新創，如何挑戰 AI 產業最棘手的兩大基礎建設難題？

AI 基礎建設的競賽，正面臨一道隱形的高牆。真正的問題不僅僅是搶到足夠的晶片，更在於是否拿到「對的」晶片，以及找到能把它們插上電、運轉起來的地方。一家名為 General Compute 的新創公司，認為自己找到了同時跨越這兩道障礙的解答，並以 1500 萬美元的種子輪資金來證明它是可行的 。

一場押注在專用晶片上的豪賭

General Compute 是一家「推論新雲端服務商」（Inference Neocloud），也就是專門出租 AI 推論階段所需算力的公司。所謂推論，指的是訓練好的模型實際對使用者做出回應的過程。在一個由 Nvidia（輝達）通用型 GPU 主導的市場中，General Compute 做了一個完全相反的選擇：它相信，執行推論的最佳晶片不是甚麼都做的 GPU，而是為此任務量身打造的 ASIC（特殊應用積體電路）。

他們選定的武器，是半導體新創 SambaNova 最新的 SN50 晶片。SambaNova 聲稱，SN50 的運算效能是競爭對手的 5 倍，而總持有成本（TCO）則比 GPU 系統低了 3 倍之多 。對 General Compute 來說，這款晶片的吸引力在於，它在一個快速成長的特定領域——「代理式 AI」——中展現的極致速度與效率。

公司的執行長 Finn Puklowski 指出，SN50 晶片每秒能生成 600 到 700 個 token，相較之下，GPU 大概只有 250 個 。這將近 3 倍的速度提升不僅是規格書上的炫技，它更是自主 AI 代理能否真正運作的關鍵。想像一群 AI 代理需要彼此溝通，協作完成多步驟的任務，過程中每一毫秒的延遲都至關重要，這時速度就成了命脈。

General Compute 已對 SN50 晶片下達了高達 3 億美元的訂單，並自稱是首家部署該晶片的推論新雲端服務商 。這個舉動也呼應了市場正朝推論專用晶片傾斜的大趨勢，從 Nvidia 以 200 億美元收購 Groq，到 Cerebras 高達 570 億美元的 IPO，都能觀察到同樣的訊號 。