閒置電競電腦，能成為可靠的 AI 推論網路嗎？

把閒置的電競電腦出租給 AI 公司，聽起來像是「AI 推論版 Airbnb」：平台招募擁有高階顯示卡的玩家與電腦愛好者，利用他們未使用的 GPU 或 CPU 執行 AI 工作，再按照經驗證的運算量支付報酬。Far Labs 與奧斯汀的新創公司 Evolving Edge，瞄準的主要是 AI 推論——也就是使用訓練完成的模型回應請求——而不是最前沿模型訓練。26

這個構想的吸引力在於，市場上已經存在大量分散在各地的消費級硬體。問題是：一張家用顯示卡能否執行開源模型，並不是最大的難題。真正的考驗在於，數千台規格不同、隨時可能離線的電腦，能否安全、快速且可預測地提供服務，而且價格要同時讓客戶與主機持有人都覺得划算。

分散式 AI 推論如何運作？

典型系統包含三個部分：客戶請求、負責分配工作的協調層，以及安裝在主機上的節點軟體。平台必須根據模型大小、顯示記憶體、延遲、在線時間和主機資源限制，決定哪台電腦執行哪項工作。

Far Labs：即時路由與模型分配

FAR AI 將自己定位為分散式推論層，連接日常使用的 GPU，並即時把請求路由到合適的節點。該公司的目標，是在不完全依賴集中式叢集的情況下支援互動式 AI 工作負載。1112

現有報導描述，Far Labs 的排程器可以在單一主機無法容納完整模型時，將模型工作拆分到多台電腦。這可能讓更多不同規格的硬體派上用場，但也會增加節點之間的協調與資料傳輸。每多一次轉交，都可能影響回應速度與可靠性。

Far Labs 曾討論互動式推論未來達到低於 100 毫秒的目標。不過，這是目標，不代表目前已經證明能達成端到端表現。實際延遲還包括請求路由、排隊、載入模型、節點間通訊，以及把結果傳回使用者所需的時間。

Evolving Edge：以 Ray 為基礎的執行環境

Evolving Edge 據稱採用 Ray——一套分散式運算框架——在參與的電腦之間分配模型服務工作。Ray 可以把工作表示為受管理的 Actor，並將它們排程到叢集中的不同節點。56

Ray 能提供分散式執行所需的重要元件，但採用 Ray 本身並不能解決市場運作上的難題。平台仍要偵測故障或過載節點、有效放置模型、管理不同硬體配置，並決定何時重試或複製工作。

在家用電腦上執行第三方工作，如何確保安全？

讓消費者擁有的電腦執行第三方程式或處理第三方資料，安全風險遠高於安裝一般遊戲或桌面應用程式。可信賴的節點系統必須限制工作能存取的內容，以及它可消耗的電腦資源。

可能採用的控制措施包括：

• 隔離或沙盒化的執行環境；
• 傳輸中的資料加密；
• 限制 CPU、GPU、記憶體、儲存空間與網路用量；
• 限制工作執行時間並在結束後自動終止；
• 可供檢視並能安全更新的主機端程式。

Ray 的文件指出，其沙盒架構可使用輕量、核心隔離的環境，執行不受信任的程式碼與代理工作。實驗性實作則採用 gVisor 與 OCI 容器環境，並由 Ray 管理的 Actor 排程及控制沙盒資源。17182021

這些功能證明相關安全機制已存在於更廣泛的軟體堆疊中，但不代表 Far Labs 或 Evolving Edge 已在正式環境部署相同防護，也不代表這些設定在消費級作業系統上必然安全，更無法證明線上節點執行的程式，就是主機持有人曾檢查過的版本。

開源節點軟體可以提高透明度，讓主機持有人檢查資源限制與資料存取行為。但開源並不是完整的安全保證。營運商仍需提供可重現的建置流程、經簽署的更新、清晰的權限設計、漏洞處理機制，以及證據證明實際部署版本與公開原始碼一致。

與 Salad 相比，兩者有何不同？

Salad 是最直接的比較對象，因為它已經營一個把消費級 GPU 與尋找運算能力的企業連接起來的市場。Salad 不依賴區塊鏈或代幣協調，而是採用集中營運的市場模式。13

Far Labs 強調即時路由與分散式推論，包括在必要時把模型工作拆分到多個節點；Evolving Edge 則被描述為著重 Ray 分散式執行環境，並推出公開測試版本。Salad 的優勢在於已有消費級 GPU 市場的營運經驗；後進者則必須證明自己的架構能在可用率、客戶需求、支援能力與主機經濟效益方面達到相近水準。

這個差異值得注意：分散式是架構選擇，不是效能結果。網路即使連接了大量電腦，也可能仍由單一營運方控制，或面臨不可靠、成本過高等問題。

最大的未解問題：主機到底賺不賺錢？

主機收到的毛收入，只是計算回報的起點。電腦持有人還要承擔或分攤電費、熱力與散熱成本、網路費用、維修支出、硬體折舊，以及電腦無法供自己使用的機會成本。

註冊節點不等於實際有工作。GPU 即使連上網路，若很少接到付費任務，收入可能十分有限，卻仍可能耗電，並增加管理與硬體損耗。在平台未公開清楚的付款公式、實際使用率、工作時長和耗電估算前，主機持有人無法可靠計算投資回報。

持續執行推論也可能帶來更多熱量、風扇運轉與記憶體使用。這些損耗是否值得，取決於 GPU 型號、當地電價、在線時間、工作強度與二手價值。現有資料無法證明參與這類網路是被動收入，也無法證明一般使用者一定能獲利。

延遲與成本宣稱，為何需要正式環境數據？

消費級硬體可能具備成本優勢：設備已經存在，而部分持有人也願意將閒置容量變現。然而，網路仍要支付協調、頻寬、監控、失敗工作、複製、客戶支援、安全防護與主機報酬等成本。

延遲問題也是如此。在特定 Kubernetes 部署中，沙盒啟動速度很快，並不等於透過住宅網路提供大規模端到端推論時，就能低於 100 毫秒。Ray 文件中的低於 100 毫秒，是特定設定下的沙盒啟動時間，並非網際網路規模消費者節點網路的延遲保證。17

分散式 AI 系統通常也依賴鏈下運算。一般用途的區塊鏈不適合直接處理機器學習工作負載所需的運算量與資料量，因此區塊鏈多半只負責協調或付款，而不是直接執行模型。1

大量節點同時故障時，網路能撐住嗎？

只要具備足夠備援容量，並能在節點消失時迅速轉移工作，分散式網路的韌性可能高於單一機器。與 Ray 相關的研究描述了節點被移除後重建遺失任務依賴、以及節點恢復後重新找回吞吐量的情況。30

但這種優勢並非自動產生。正式的推論網路需要足夠冗餘、模型複製、智慧放置策略和快速故障偵測。網路供應商中斷、區域停電、有問題的軟體更新，或主機獎勵下降，都可能造成具關聯性的故障，令大量節點同時離線。

模型分割也存在取捨。把模型分散到多台電腦，或許能讓原本無法單獨執行模型的硬體參與其中；但這會增加網路流量，並引入更多故障點。實際平衡取決於工作負載和營運商的排程策略。

GPU 持有人參與前，應先確認什麼？

在平台公布更充分的證據前，潛在主機應把參與視為實驗性、收益浮動的服務，而不是穩定的被動收入。安裝節點軟體前，至少應檢查：

1. 清楚的付款公式與付款紀錄；
2. 實際使用率，而不只是註冊機器數量；
3. 合理的電費與散熱成本估算；
4. 公開記載的權限範圍與資源限制；
5. 獨立的安全測試或稽核結果；
6. 實測延遲、可用率與失敗工作比例；
7. 簡單易用的暫停或移除節點流程。

Far Labs 與 Evolving Edge 正在測試一個具吸引力的想法：利用分散各地的消費級硬體，補充集中式 AI 運算能力。這套技術或許適合部分較小型的模型與工作負載，但更廣泛的商業模式仍未定案。除非平台能證明網路具備足夠安全性、反應速度、韌性與使用率，並在扣除主機實際成本後仍能提供合理報酬，否則對 GPU 持有人而言，最穩妥的態度仍是審慎觀望。