오래된 서버에 로컬 AI 붙이기: 중고 Tesla P40 24GB가 싼 이유와 함정

퇴역한 랙 서버나 오래된 워크스테이션이 이미 있다면, 로컬 AI용으로 가장 싸게 살리는 방법은 새 플랫폼을 사는 것이 아니라 VRAM을 확보하는 것일 때가 많다. 최근 로컬 LLM용 중고 GPU 가이드들은 NVIDIA Tesla P40 24GB를 저가 24GB 카드로 반복해서 언급한다. 출처마다 중고가를 약 $150~$200, $200~$250, $200 미만, 또는 sub-$300 수준으로 제시한다 .

다만 이 가격만 보고 덜컥 사면 곤란하다. P40은 요즘 데스크톱 PC에 꽂는 게이밍 GPU가 아니라, 오래된 데이터센터 추론용 하드웨어에 가깝다 . 싸게 AI 서버를 만들 수는 있지만, ‘싸게’와 ‘쉽게’는 같은 말이 아니다.

결론부터: 가장 싼 실전 조합은 P40, 가장 편한 24GB는 RTX 3090

• 최저가 실전 빌드: 기존 서버에 쓸 만한 PCIe 슬롯, 전원 여유, 물리적 공간이 있다면 중고 Tesla P40 24GB를 넣고 강제 흡·배기 냉각을 구성하는 방식이 가장 저렴한 축에 든다. P40의 장점은 예산형 중고가에 24GB VRAM을 확보할 수 있다는 점이고, 약점은 냉각이 까다롭다는 점이다 .
• 예산이 더 있으면: 중고 RTX 3090 24GB가 더 비싸지만 훨씬 다루기 편한 선택지다. 2026년 중고 GPU 가이드는 RTX 3090 중고가를 약 $700~$850로 제시하며, P40보다 강한 로컬 AI용 선택지로 본다 .
• 저가 업그레이드가 아닌 영역: A100은 이야기가 완전히 달라진다. A100 80GB 중고가는 JarvisLabs 기준 $4,000~$9,000, CraftRigs 기준 $4,000~$8,000 수준으로 제시된다 .

왜 하필 P40인가: 로컬 LLM은 결국 VRAM에서 막힌다

로컬 LLM, 즉 PC나 서버 안에서 직접 돌리는 대형 언어 모델은 종종 ‘GPU가 얼마나 최신인가’보다 모델이 GPU 메모리에 들어가느냐가 먼저 문제가 된다. GPU 전용 메모리인 VRAM이 부족하면 모델 일부를 CPU나 시스템 메모리에 넘겨야 하고, 체감 속도가 크게 떨어질 수 있다.

InsiderLLM은 P40의 24GB VRAM 덕분에 12GB RTX 3060에는 들어가지 않는 일부 14B 모델을 GPU 안에서만 실행할 수 있다고 설명한다 . 또 다른 2026년 중고 GPU 가이드도 AI 작업에서는 일부 최신 저용량 카드보다 고용량 중고 GPU가 더 실용적일 수 있다는 ‘VRAM 우선’ 논리를 편다 .

물론 P40은 최신 하드웨어가 아니다. Vast.ai는 Tesla P40의 출시일을 2016년 9월 13일, 메모리 용량을 24GB로 표기한다 . Accio는 이 카드를 원래 추론과 가상화에 쓰이던 파스칼 세대 데이터센터 GPU로 설명하며, 지금은 낮은 중고가와 24GB 용량 때문에 로컬 AI 사용자들이 다시 활용하고 있다고 본다 . InsiderLLM 역시 P40이 현대 기준으로는 느리며, 자체 비교에서 RTX 3090보다 대략 3배 느리다고 설명한다 .

진짜 비용은 카드값이 아니라 냉각·전원·장착이다

P40의 중고가만 보면 매우 매력적이지만, 기존 서버가 이를 제대로 받아주지 못하면 ‘싼 카드’가 곧바로 ‘비싼 삽질’이 된다. 구매 전에 최소한 아래 네 가지는 확인해야 한다.

1. 슬롯과 케이스 공간
   PCIe x16 슬롯 또는 호환 가능한 서버용 라이저가 있는지, 카드 길이와 두께를 감당할 공간이 있는지 확인해야 한다. 오래된 서버는 모델마다 내부 구조가 크게 다르고, 라이저 배치 하나 때문에 장착이 불가능해질 수 있다.

2. 전원 여유
   InsiderLLM은 Tesla P40의 TDP를 250W로 제시한다 . 파워서플라이 용량뿐 아니라 보조전원 케이블, 어댑터, 서버 내부 전원 배선이 부하를 감당할 수 있는지 봐야 한다.

3. 직접적인 공기 흐름
   Accio는 P40의 로컬 LLM 활용에서 냉각 문제가 반복적으로 지적된다고 설명한다 . 일반적인 타워 PC처럼 ‘케이스 팬이 있으니 괜찮겠지’라고 접근하기보다는, 블로워 팬이나 덕트, 팬 슈라우드처럼 GPU 방열판을 관통하는 강한 공기 흐름을 설계해야 한다.

4. 화면 출력 계획
   P40을 게임용 그래픽카드처럼 생각하면 안 된다. 2026년 중고 GPU 가이드는 Tesla P40 24GB에 디스플레이 출력이 없다고 표기한다 . 메인보드 내장 그래픽, 별도 저가 디스플레이 어댑터, 또는 원격 접속 구성을 미리 준비해야 한다.

어떤 모델과 소프트웨어에 맞을까

P40 빌드는 ‘학습용 최신 GPU’라기보다 저비용 로컬 추론 박스로 보는 편이 현실적이다. Accio는 P40이 로컬 LLM 실행 용도로 다시 주목받고 있다고 설명하며, P40 홈랩 활용 맥락에서 llama.cpp를 언급한다 .

출발점은 간단하다. 24GB 안에 들어가는 모델부터 시작하고, 컨텍스트 길이와 서빙 설정을 조금씩 조정하는 식이 좋다. 모든 최신 모델을 무리 없이 돌릴 것이라고 기대하면 실망할 가능성이 크다.

RBA의 예산형 빌드 후기도 비슷한 선을 긋는다. 해당 글은 P40이 가장 큰 최신 모델을 돌릴 수 있는 카드는 아니고 아키텍처상 한계도 있지만, 적절히 구성하면 여전히 쓸 만하다고 설명한다 .

성능: 최첨단은 아니지만, 용도만 맞으면 쓸 만하다

조용한 데스크톱 GPU처럼 꽂기만 하면 모든 최신 모델을 넉넉하게 처리해주길 바란다면 P40은 맞지 않는다. InsiderLLM은 P40이 현대 기준으로 느리며, RTX 3090보다 대략 3배 느리다고 설명한다 .

그럼에도 P40이 계속 거론되는 이유는 실제 취미·홈랩 빌드에서 ‘가격 대비 된다’는 사례가 있기 때문이다. RBA는 특정 예산형 서버 구성에서 중고 P40으로 Qwen3 Coder 30B를 약 초당 50토큰 수준으로 실행했다고 보고했다 . 다만 이는 보편적인 벤치마크가 아니라 하나의 사례로 봐야 한다. 실제 처리량은 모델, 양자화 방식, 컨텍스트 크기, 시스템 구성, 냉각 상태에 따라 달라진다.

Tesla P40 vs RTX 3090 vs A100

어떤 카드를 사야 하는지는 ‘초기 비용을 줄일 것인가’, ‘설치 난이도를 줄일 것인가’, ‘더 큰 모델을 노릴 것인가’에 따라 달라진다.

선택지	고르는 이유	출처상 가격·용량	핵심 단점
중고 Tesla P40 24GB	가장 싼 24GB VRAM 진입로	출처들은 $150~$200, $200~$250, $200 미만, 또는 sub-$300 중고가를 제시한다	오래된 데이터센터 카드, 디스플레이 출력 없음, 250W TDP, 냉각 난이도
중고 RTX 3090 24GB	더 빠르고 일반 PC 구성에 가까운 24GB 선택지	2026년 중고 GPU 가이드는 약 $700~$850 중고가를 제시한다	P40보다 훨씬 비싸다. 대신 P40은 RTX 3090보다 대략 3배 느리다고 설명된다
A100 40GB 또는 80GB	더 큰 모델을 진지하게 다룰 때	A100은 40GB와 80GB 구성이 있으며, A100 80GB 중고가는 수천 달러대로 제시된다	낡은 서버를 싸게 살리는 목적과는 예산 규모가 다르다

예산형 빌드 순서

가장 적은 돈으로 쓸 만한 로컬 추론 서버를 만들고 싶다면, 순서는 이렇게 잡는 편이 안전하다.

1. 서버에 쓸 수 있는 PCIe 슬롯 또는 라이저가 있는지, 카드가 들어갈 공간이 있는지, 파워서플라이 여유가 있는지 먼저 확인한다.
2. 카드를 사기 전에 냉각 비용을 계산한다. P40은 냉각 문제가 자주 언급되는 카드다 .
3. 팬, 덕트, 전원 케이블, 어댑터까지 더한 총액이 여전히 저렴할 때만 중고 Tesla P40 24GB를 산다.
4. P40 자체에는 디스플레이 출력이 없는 것으로 표기되어 있으므로 별도의 화면 출력 또는 원격 접속 방식을 준비한다 .
5. 로컬 추론 스택을 설치한 뒤 24GB VRAM 안에 들어가는 모델부터 시작한다. P40 로컬 LLM 활용 보도에서 언급된 도구 중 하나가 llama.cpp다 .
6. 소음, 열, 케이스 개조, 전원 어댑터 문제로 구성이 과하게 복잡해진다면, 끝까지 가기 전에 중고 RTX 3090 24GB의 총비용과 비교한다 .

바닥 결론

가장 적은 돈으로 오래된 서버를 로컬 AI용으로 되살리고 싶다면, 중고 Tesla P40 24GB는 여전히 눈에 띄는 선택지다. 최근 가이드들이 제시하는 가격대는 대체로 $150~$250 또는 sub-$300 수준이고, 이 돈으로 24GB VRAM을 확보할 수 있다는 점이 핵심 매력이다 .

하지만 성공 공식은 ‘P40 한 장’이 아니다. P40 + 충분한 전원 + 강제 냉각 + 현실적인 기대치가 한 묶음이다. 같은 24GB라도 덜 번거롭고 더 빠른 구성을 원한다면 중고 RTX 3090 24GB를 보는 편이 낫다 . A100급 메모리가 필요하다면, 그때부터는 저가 업그레이드가 아니라 수천 달러 예산의 별도 프로젝트로 봐야 한다 .