Gebrauchte Tesla P40 24 GB: der Budget-Trick für lokale KI auf alten Servern

Wenn schon ein ausgemusterter Rack-Server oder eine ältere Workstation im Keller steht, ist der günstigste Weg zu lokaler KI oft nicht ein neuer Rechner, sondern schlicht mehr Grafikspeicher. Mehrere aktuelle Kaufguides für lokale LLMs nennen die gebrauchte NVIDIA Tesla P40 mit 24 GB als Budget-Option: je nach Quelle und Angebot liegen die genannten Gebrauchtpreise etwa bei 150–200 US-Dollar, 200–250 US-Dollar, unter 200 US-Dollar oder unter 300 US-Dollar .

Genau darin liegt der Reiz. Die Einschränkung: Die P40 ist alte Rechenzentrums-Hardware für Inferenz, keine moderne Desktop-Grafikkarte zum Einstecken und Vergessen .

Kurzfazit

• Günstigster realistischer Weg: Den vorhandenen Server behalten, sofern PCIe-Steckplatz, Netzteilreserve und Platz im Gehäuse passen – und dann eine gebrauchte Tesla P40 24 GB plus gezielte Zwangsbelüftung einbauen. Der Vorteil sind 24 GB VRAM zu sehr niedrigen Gebrauchtpreisen; die Kühlung gilt jedoch als bekannte Hürde .
• Besser, wenn das Budget reicht: Eine gebrauchte RTX 3090 mit 24 GB kostet deutlich mehr, wird in einem Used-GPU-Guide für 2026 aber mit etwa 700–850 US-Dollar geführt und als stärkere Option für lokale KI eingeordnet .
• Nicht mehr Budgetklasse: A100-Karten spielen preislich in einer anderen Liga. Für die A100 80 GB werden gebraucht etwa 4.000–9.000 US-Dollar bei JarvisLabs und 4.000–8.000 US-Dollar bei CraftRigs genannt .

Warum die P40 interessant ist: 24 GB zählen

Bei lokaler LLM-Inferenz ist die erste praktische Frage häufig: Passt das Modell vollständig in den Grafikspeicher? InsiderLLM schreibt, dass die 24 GB VRAM der P40 manche 14B-Modelle komplett auf der GPU laufen lassen, die auf eine RTX 3060 mit 12 GB nicht passen würden . Ein weiterer Used-GPU-Guide für 2026 argumentiert ähnlich: Für KI-Workloads kann viel VRAM wichtiger sein als eine neuere GPU-Generation mit weniger Speicher .

Modern ist die P40 allerdings nicht. Vast.ai führt den 13. September 2016 als Erscheinungsdatum und 24 GB Speichergröße auf . Accio beschreibt sie als Pascal-Rechenzentrums-GPU, ursprünglich für Inferenz und Virtualisierung gedacht, die heute wegen ihrer 24 GB Kapazität und niedriger Gebrauchtpreise bei lokalen KI-Bastlern ein zweites Leben bekommt . InsiderLLM nennt sie im Vergleich zu moderner Hardware langsam und ungefähr dreimal langsamer als eine RTX 3090 .

Die wahren Kosten: Kühlung, Strom und Einbau

Der Kartenpreis allein kann täuschen. Vor dem Kauf sollten vier Punkte geklärt sein:

1. Steckplatz und Gehäuse: Gibt es einen nutzbaren PCIe-x16-Slot oder passenden Riser? Passen Länge, Höhe und Luftführung? Gerade alte Rack-Server unterscheiden sich stark; manchmal entscheidet das Riser-Layout, ob die Karte überhaupt sinnvoll einsetzbar ist.
2. Stromversorgung: InsiderLLM listet die Tesla P40 mit 250 Watt TDP, also sollten Netzteil und Verkabelung unter Last ausreichend Reserve haben .
3. Gezielter Luftstrom: Accio weist ausdrücklich auf Kühlprobleme der P40 beim lokalen LLM-Einsatz hin . Praktisch heißt das meist: Blower, Lüftertunnel, Fan-Shroud oder ein Servergehäuse, das Luft direkt durch die Karte drückt.
4. Bildausgabe: Die P40 sollte nicht wie eine Gaming-GPU behandelt werden. Ein Used-GPU-Guide für 2026 führt die Tesla P40 24 GB ohne Display-Ausgang . Man braucht also Mainboard-Grafik, eine zweite einfache Grafikkarte oder Remote-Zugriff.

Welche Software und Modelle passen dazu?

Die P40 sollte man als Inferenz-Maschine verstehen, nicht als Allzweck-GPU für jede neue KI-Spielerei. Accio verknüpft ihr zweites Leben ausdrücklich mit lokaler LLM-Ausführung und erwähnt llama.cpp im Zusammenhang mit P40-Homelab-Nutzung . Sinnvoll ist: zuerst Modelle und Quantisierungen wählen, die in 24 GB passen, danach Kontextlänge und Servereinstellungen abstimmen.

Diese Erwartungshaltung ist wichtig. RBA schreibt in einem Budget-Build-Bericht, dass eine P40 die größten aktuellen Spitzenmodelle nicht ausführen kann und architektonische Grenzen hat, mit passendem Setup aber weiterhin leistungsfähig sein kann .

Leistung: brauchbar, aber nicht Spitzenklasse

Wer eine leise Desktop-GPU erwartet, die jedes neue Modell komfortabel verarbeitet, wird mit der P40 wahrscheinlich nicht glücklich. InsiderLLM bezeichnet sie als langsam nach heutigen Maßstäben und ungefähr dreimal langsamer als eine RTX 3090 .

Trotzdem zeigen Praxisberichte, warum die Karte weiterhin gekauft wird. RBA beschreibt einen konkreten Budget-Server, der Qwen3 Coder 30B auf einer gebrauchten P40 mit rund 50 Tokens pro Sekunde ausführt . Das sollte man als Einzelfall lesen, nicht als allgemeingültigen Benchmark: Durchsatz hängt von Modell, Einstellungen, Kontextgröße, Systemkonfiguration und Kühlung ab.

Tesla P40 gegen RTX 3090 gegen A100

Die richtige Karte hängt davon ab, was wichtiger ist: niedrigster Einstiegspreis, einfache Einrichtung oder möglichst große Modelle.

Option	Warum wählen?	Genannte Kosten und Kapazität	Größter Kompromiss
Gebrauchte Tesla P40 24 GB	Günstigster Weg zu 24 GB VRAM für lokale Inferenz	Quellen nennen 150–200 US-Dollar, 200–250 US-Dollar, unter 200 US-Dollar oder unter 300 US-Dollar gebraucht	Alte Rechenzentrums-Karte, kein Display-Ausgang, 250 Watt TDP und Kühlungsprobleme
Gebrauchte RTX 3090 24 GB	Mehr Leistung und meist angenehmerer Desktop-Betrieb	Ein Used-GPU-Guide für 2026 nennt etwa 700–850 US-Dollar gebraucht	Deutlich teurer als eine P40; die P40 wird allerdings als ungefähr dreimal langsamer beschrieben
A100 40 GB oder 80 GB	Für größere Modelle, wenn das Budget ernsthaft größer ist	A100-Varianten gibt es mit 40 GB und 80 GB, gebrauchte A100 80 GB werden in den Tausendern genannt	Sprengt meist den Zweck eines billigen Rettungsprojekts für alte Server

Empfohlener Budget-Weg

Wenn das Ziel „brauchbare lokale Inferenz für möglichst wenig Geld“ lautet, ist diese Reihenfolge sinnvoll:

1. Prüfen, ob der Server einen nutzbaren PCIe-Slot oder Riser, genug Platz und ausreichende Netzteilreserve hat.
2. Die Kühlung vor dem Kartenkauf kalkulieren; Kühlprobleme gehören zu den wiederkehrenden P40-Warnungen .
3. Die gebrauchte Tesla P40 24 GB nur kaufen, wenn der Gesamtpreis inklusive Lüftern, Luftkanälen, Kabeln und Adaptern noch attraktiv bleibt.
4. Bildausgabe ohne P40 einplanen, weil die Karte ohne Display-Ausgang geführt wird .
5. Lokalen Inferenz-Stack installieren und mit Modellen beginnen, die in 24 GB VRAM passen; llama.cpp wird in der P40-Berichterstattung ausdrücklich erwähnt .
6. Wenn der Aufbau zu laut, zu heiß oder zu improvisiert wirkt, den Gesamtpreis mit einer gebrauchten RTX 3090 24 GB vergleichen .

Unterm Strich

Für möglichst wenig Geld ist die gebrauchte Tesla P40 24 GB die auffälligste Aufrüstung für alte Server, weil sie viel VRAM zu Preisen bietet, die aktuelle Guides grob im Bereich von 150–250 US-Dollar beziehungsweise unter 300 US-Dollar sehen . Erfolgreich wird der Build aber nicht durch die Karte allein, sondern durch die Kombination aus Karte, ausreichender Stromversorgung, gezieltem Luftstrom und realistischen Erwartungen.

Wer dieselben 24 GB mit weniger Bastelaufwand und mehr Tempo möchte, sollte eine gebrauchte RTX 3090 24 GB prüfen . Wer A100-Speicherklassen braucht, sollte den Gedanken an ein Billig-Upgrade aufgeben und ein deutlich größeres Budget einplanen .