二手 Tesla P40 24GB：把舊伺服器變成本地 AI 推論機的低價選擇

如果你手上已經有一台退役機架伺服器或工作站，想讓它重新派上用場跑本地 AI，最省錢的思路通常不是整台平台重買，而是先買足 VRAM。多份近期本地 LLM 採購指南都把二手 NVIDIA Tesla P40 24GB 列為低價 24GB 選項；依來源與刊登條件不同，常見區間被描述為約 US$150–200、US$200–250、低於 US$200，或低於 US$300 。

但便宜有代價。P40 是舊資料中心推論硬體，不是買回來插進桌機就萬事大吉的現代消費級 GPU 。它適合願意處理風道、供電、機殼空間與遠端使用的人；如果你想要安靜、好裝、少調校，二手 RTX 3090 24GB 反而可能更合理。

先講結論：P40 是低價門票，不是無痛升級

• **最便宜的實用路線：**如果舊伺服器有可用 PCIe 插槽、足夠電源餘裕與機殼空間，可以加裝二手 Tesla P40 24GB，並搭配確實的強制風道散熱。P40 的吸引力在於低價取得 24GB VRAM，但散熱一直是常被提醒的痛點 。
• **預算多一點、想少踩坑：**二手 RTX 3090 24GB 會貴很多；一份 2026 年二手 GPU 指南把它列在約 US$700–850，並把它定位成比 P40 更強的本地 AI 選擇 。
• **不算便宜升級：**A100 已經是另一個價格帶。JarvisLabs 提到 A100 80GB 二手價約 US$4,000–9,000，CraftRigs 則列約 US$4,000–8,000 。

為什麼 P40 還有人買：本地 LLM 很吃 VRAM

跑本地大型語言模型（LLM）時，第一個現實問題往往不是 GPU 有多新，而是模型能不能塞進顯示記憶體。InsiderLLM 指出，P40 的 24GB VRAM 可讓部分 14B（約 140 億參數）模型完全跑在 GPU 上，而這類模型可能放不進 12GB 的 RTX 3060 。另一份 2026 年二手 GPU 指南也採取類似的 VRAM 優先觀點：對 AI 工作負載來說，高 VRAM 二手卡有時比更新但 VRAM 較小的卡更有用 。

不過，P40 的年代感也很明顯。Vast.ai 列出的 Tesla P40 發布日期是 2016 年 9 月 13 日，記憶體容量為 24GB 。Accio 則把它描述為 Pascal 世代資料中心 GPU，原本面向推論與虛擬化，如今因為便宜的 24GB 容量而被本地 AI 玩家重新利用 。InsiderLLM 也提醒，P40 以現代標準來看速度偏慢，在其比較中約比 RTX 3090 慢 3 倍 。

真正成本在卡之外：散熱、供電、空間

P40 的標價很容易讓人心動，但如果主機撐不起來，便宜就會變成麻煩。下單前至少檢查四件事：

1. **PCIe 與機殼空間。**確認有可用的 PCIe x16 插槽或相容轉接／riser，並檢查卡長、厚度與風道空間。舊伺服器的 riser 配置差異很大，常常直接決定能不能裝。
2. **供電能力。**InsiderLLM 列出 Tesla P40 的 TDP 為 250W，因此電源供應器與線材必須在負載下留有餘裕 。
3. **定向氣流。**Accio 明確提到 P40 用於本地 LLM 時的散熱挑戰 。實務上通常需要鼓風扇、風罩，或本來就能把氣流直接推過 GPU 的伺服器機殼。
4. **顯示輸出方案。**不要把 P40 當遊戲卡用：一份 2026 年二手 GPU 指南列出 Tesla P40 24GB 沒有顯示輸出 。你需要主機板內顯、另一張基本顯示卡，或直接走遠端管理／SSH。

軟體與模型：把它當推論盒，不是萬能訓練機

P40 最合理的定位，是低成本本地推論機。Accio 在討論 P40 的 homelab 用法時，也把它和本地 LLM 執行、llama.cpp 等工具連在一起 。比較務實的做法，是先挑能塞進 24GB VRAM 的模型，再調整量化、context 長度與服務設定；不要假設每個新模型都能順順跑。

這點很重要。RBA 的預算建置經驗提到，P40 跑不了最頂級、最大的前沿模型，也有架構限制；但在設定得當時仍然有能力處理相當實用的工作負載 。

效能期待：可用，但不要拿它幻想旗艦表現

如果你期待的是安靜、快速、對新模型都游刃有餘的桌機 GPU，P40 多半會讓你失望。InsiderLLM 對它的定位很直接：以現代標準看偏慢，約比 RTX 3090 慢 3 倍 。

但這不代表它沒有價值。RBA 曾分享一台預算伺服器使用二手 P40 跑 Qwen3 Coder 30B，速度約每秒 50 個 token 。這只能視為個案經驗，不是通用基準；實際速度會受模型、量化方式、context 長度、系統配置與散熱狀況影響。

P40、RTX 3090、A100 怎麼選？

選哪張卡，取決於你要省的是購買成本、安裝時間，還是模型容量。

選項	適合誰	來源提到的價格與容量	主要取捨
二手 Tesla P40 24GB	想用最低成本取得 24GB VRAM、主要跑本地推論	多個來源提到約 US$150–200、US$200–250、低於 US$200，或低於 US$300 的二手價	舊資料中心卡、無顯示輸出、250W TDP，且散熱需要特別處理
二手 RTX 3090 24GB	想要更快、更接近一般桌機使用體驗	2026 年二手 GPU 指南列約 US$700–850	成本遠高於 P40，但 P40 在比較中約慢 3 倍
A100 40GB／80GB	需要更大模型容量，且預算足夠	A100 有 40GB 與 80GB 版本；A100 80GB 二手價被多個來源列在數千美元等級	通常已不符合便宜救舊伺服器的初衷

建議的低成本升級流程

如果目標是花最少錢做出可用的本地推論機，可以照這個順序評估：

1. 先確認伺服器有可用 PCIe 插槽或 riser、足夠空間，以及足夠電源容量。
2. 在買卡前先估散熱成本；P40 散熱挑戰是反覆被提到的注意事項 。
3. 只有在加上風扇、風罩、線材與轉接配件後，總成本仍合理時，才購買二手 Tesla P40 24GB。
4. 先規劃好非 P40 的顯示方案，因為這張卡被列為沒有顯示輸出 。
5. 安裝本地推論工具鏈，從能放進 24GB VRAM 的模型開始；llama.cpp 是 P40 本地 LLM 報導中明確提到的工具之一 。
6. 如果整套建置開始變得太熱、太吵或太難整理，就把總成本拿去和二手 RTX 3090 24GB 比較，再決定是否繼續 。

底線：便宜可行，但要把工程成本算進去

以最低支出來看，二手 Tesla P40 24GB 仍是舊伺服器升級本地 AI 的突出選項，因為它用近期指南列出的約 US$150–250 或低於 US$300 價格，買到相當大的 24GB VRAM 。但成功關鍵不是只買到卡，而是卡加上穩定供電、定向氣流，以及對效能的合理期待。

如果你想要同樣 24GB 容量、但少處理資料中心卡的麻煩，二手 RTX 3090 24GB 更值得比較 。如果你的需求已經上看 A100 等級記憶體，那就不要再用便宜升級的心態估預算；那會是完全不同的價格帶 。