舊伺服器跑本地 AI，最平實用 GPU：二手 Tesla P40 24GB

不過，P40 平還平，定位要搞清楚：它是舊款數據中心推理硬件，不是現代桌面顯示卡嗰種「插落去就用」體驗 。文中價格亦沿用來源所列美元價，未計你自己可能需要的風扇、導風罩、線材或轉接件。

先講結論：平玩可以，但唔係零改裝

• 最平實用方向： 如果舊機有可用 PCIe 插槽／riser、機箱放得落、火牛有餘量，就可以考慮二手 Tesla P40 24GB，再配合強制風冷。P40 的吸引力是低價 24GB VRAM，但散熱挑戰亦反覆被提及 。
• 想少啲折騰： 二手 RTX 3090 24GB 貴好多；一份 2026 二手 GPU 指南列出其二手價約 700–850 美元，但它是更強的本地 AI 選擇 。InsiderLLM 亦形容 P40 大約比 RTX 3090 慢三倍 。
• 唔算平玩： A100 已經係另一個預算層次。JarvisLabs 指 A100 80GB 二手價約 4,000–9,000 美元，CraftRigs 則列為約 4,000–8,000 美元 。

點解 P40 仲有人買？因為 24GB VRAM

跑本地 LLM 推理，最現實的第一關往往係：模型放唔放得入 GPU 記憶體。InsiderLLM 指，P40 的 24GB VRAM 可令部分 14B 模型完全放入 GPU 跑，而同一情況下 12GB RTX 3060 未必放得落 。另一份 2026 二手 GPU 指南亦用「VRAM 優先」角度看 AI 工作負載，偏向選高 VRAM 二手卡，而不是某些較新但 VRAM 較少的型號 。

當然，P40 已經唔年輕。Vast.ai 列出 Tesla P40 發布日期為 2016 年 9 月 13 日，記憶體容量為 24GB 。Accio 形容它是 Pascal 世代的數據中心 GPU，原本面向推理和虛擬化，如今因為 24GB 容量和低二手價，被本地 AI 玩家重新拿來使用 。速度方面就要有心理準備：InsiderLLM 指它按現代標準算慢，約比 RTX 3090 慢三倍 。

真正成本：散熱、供電、機箱位

P40 的卡價可以好吸引，但如果主機撐唔住，平卡都會變貴。買之前至少檢查四件事：

1. 插槽同機箱空間。 確認有可用 PCIe x16 插槽或相容 riser，亦要睇長度、厚度同風道空間。舊 server 的 riser 佈局差異好大，唔係見到有 PCIe 就一定裝得舒服。
2. 供電。 InsiderLLM 列出 Tesla P40 的 TDP 為 250W，所以火牛和供電線材要有足夠餘量，唔好貼住上限長期跑 。
3. 定向風流。 Accio 特別提到 P40 用於本地 LLM 時有散熱挑戰 。實際上通常要靠 blower、風扇導風罩，或者本身能夠將風直接推過 GPU 的 server 機箱。
4. 顯示方案。 唔好當 P40 係遊戲卡用；一份 2026 二手 GPU 指南列明 Tesla P40 24GB 沒有顯示輸出 。你需要用主機板顯示、另一張基本顯示卡，或者純遠端登入。

軟件同模型：當佢係推理機，唔係萬能訓練機

P40 最合理的定位，是一部本地推理盒。Accio 將 P40 的「第二生命」連到本地 LLM 執行，並在 P40 homelab 使用情境中提到 llama.cpp 。比較穩陣的做法，是先由能夠放入 24GB VRAM 的模型和設定開始，再慢慢調整 context 長度與 serving 設定。

期望管理好重要。RBA 的平價 build 文章指出，P40 不能跑最大的前沿模型，而且有架構限制；但只要配置得宜，仍然可以相當有用 。

性能：夠用，但唔係尖端

如果你想要一張安靜、低溫、所有新模型都輕鬆應付的桌面 GPU，P40 大概率會令你失望。InsiderLLM 形容它按現代標準算慢，約比 RTX 3090 慢三倍 。

但現實中仍有人買，原因亦好清楚：夠平、夠 VRAM。RBA 曾分享一個具體平價 server build，使用二手 P40 跑 Qwen3 Coder 30B，約有每秒 50 tokens 的速度 。呢個應當視為個別案例，而不是通用 benchmark；實際速度會受模型、設定、context 大小、整機配置和散熱影響。

Tesla P40、RTX 3090、A100 點揀？

最慳錢 build path

如果目標是用最低成本做一部可用的本地推理機，可以跟以下次序：

1. 先確認舊 server 有可用 PCIe 插槽／riser、足夠空間，以及足夠火牛容量。
2. 買卡前先計散熱成本；P40 的散熱挑戰是反覆出現的警告位 。
3. 只有當加埋風扇、導風罩、線材、轉接件後總價仍然合理，先買二手 Tesla P40 24GB。
4. 預先安排非 P40 的顯示方式，因為 P40 被列為沒有顯示輸出 。
5. 安裝本地推理工具鏈，先由能夠放入 24GB VRAM 的模型開始；llama.cpp 是 P40 本地 LLM 報導中被點名提及的工具之一 。
6. 如果整個方案開始變得太嘈、太熱或太麻煩，就應該在落訂前同二手 RTX 3090 24GB 的總成本比較 。

底線

以最低入場成本計，二手 Tesla P40 24GB 仍然係舊 server 升級本地 AI 的突出選擇：近期指南將它的 24GB VRAM 二手價大致放在 150–250 美元或 300 美元以下範圍 。但真正成功的公式不是「買張平卡」咁簡單，而係 P40 加上足夠供電、直接風道，以及合理期望。

想保留 24GB 容量但少啲頭痕，二手 RTX 3090 24GB 更值得比較 。如果你需要 A100 級別的記憶體，就要停止用「平玩舊機」思路，改為準備大得多的預算 。