Lokale KI ist bereit für den Alltag: Stanford-Studie zeigt, dass kleine Modelle die Cloud herausfordern

• Lokale Modelle können 88,7 % aller Anfragen genau beantworten: Modelle mit 20 Milliarden Parametern oder weniger, die auf Verbraucherhardware laufen, bewältigen die überwältigende Mehrheit der einteiligen Anfragen. Die Genauigkeit variiert je nach Bereich – sie liegt bei kreativen Aufgaben bei über 90 %, sinkt aber in technischen Bereichen auf etwa 68 % .
• IPW verbesserte sich von 2023 bis 2025 um das 5,3-Fache: Dies ist ein kombinierter Gewinn, der zu 3,1-fach durch eine verbesserte Modellgenauigkeit pro Watt und zu 1,7-fach durch Hardware-Fortschritte erzielt wurde .
• Die Abdeckung lokaler Anfragen schoss in die Höhe: Der Anteil der Anfragen, den lokale Modelle kompetent bearbeiten konnten, stieg von nur 23,2 % im Jahr 2023 auf 71,3 % im Jahr 2025 .
• Lokale Beschleuniger haben noch Luft nach oben: Die Studie ergab, dass lokale Beschleuniger eine mindestens 1,4-fach geringere IPW erreichen als Unternehmens-Cloud-Beschleuniger bei identischen Modellen, was auf ein erhebliches Optimierungspotenzial hinweist .

Die 'Intelligenz pro Watt'-Metrik erklärt

IPW ist elegant einfach: Sie teilt die Genauigkeit, die ein Modell bei einer bestimmten Aufgabe erreicht, durch die Energie, die es während der Inferenz verbraucht . Dies steht im Gegensatz zur gängigen Praxis, KI-Modelle isoliert zu bewerten und dabei die Energiekosten und Hardware-Anforderungen zu ignorieren.

Die Metrik erfasst eine entscheidende Erkenntnis: Das leistungsfähigste Modell ist nicht unbedingt das effizienteste oder praktischste. Ein kleines Modell auf einem Laptop könnte 95 % der Genauigkeit eines riesigen Cloud-Modells liefern, dabei aber nur einen Bruchteil der Energie verbrauchen .

Hybrides Routing: Eine Kostenreduktion von 60 %

Eines der finanziell bedeutendsten Ergebnisse der Studie betrifft das, was passiert, wenn man sich nicht zwischen lokal und Cloud entscheidet – sondern beide intelligent nutzt.

Oracle-Routing, ein hypothetisches perfektes System, das jede Anfrage dem kleinsten geeigneten Modell zuweist, könnte theoretisch den Energieverbrauch um 80,4 %, die Rechenleistung um 77,3 % und die Kosten um 73,8 % im Vergleich zu einer reinen Cloud-Bereitstellung senken .

Ein in verwandten Arbeiten getesteter, praktischer und realistischer Router erzielte ähnliche Ergebnisse: Er reduzierte Energie um 77,1 %, Rechenleistung um 67,1 % und Kosten um 60,2 % bei realen Verkehrsverteilungen und behielt dabei eine vergleichbare Aufgabengenauigkeit bei .

Dies ist keine Zukunftsmusik. Die Forschung zeigt, dass hybride lokal-Cloud-Architekturen bereits realisierbar sind und die Kosten für die Bereitstellung von KI-Inferenz drastisch senken können.

Was dies für OpenAI, Anthropic und xAI bedeutet

Die Stanford-Studie macht keine expliziten finanziellen Vorhersagen für einzelne Unternehmen. Die dokumentierte Entwicklung hat jedoch klare und strukturelle Auswirkungen auf Unternehmen, die von Cloud-APIs abhängig sind .

Lokale Modelle decken bereits rund 89 % der einteiligen Anfragen zu drastisch geringeren Kosten ab . Die IPW hat sich in nur zwei Jahren um das 5,3-Fache verbessert und die Beschleunigung hält an . Intelligentes Routing könnte die Kosten für die Cloud-Inferenz für die verbleibenden Anfragen um 60 % oder mehr senken .

Wenn sich dieser Trend im großen Maßstab durchsetzt, könnten Kunden die Mehrheit ihrer Cloud-API-Anfragen durch lokale Inferenz zu nahezu Nullkosten ersetzen und Cloud-Aufrufe nur für die schwierigsten ~11 % der Aufgaben reservieren, die lokale Modelle noch nicht bewältigen können .

Kommentare, die die Studie interpretieren, haben angemerkt, dass die Zukunft der KI für die führenden KI-Unternehmen möglicherweise von 'klein, billig und unrentabel' geprägt sein wird . Der wirtschaftliche Anreiz verschiebt sich hin zu lokalen Alternativen mit offenen Gewichten, die die Cloud-API-Preise unterbieten – eine Dynamik, die die Geschäftsmodelle von Unternehmen wie OpenAI, Anthropic und xAI neu gestalten könnte.

Der breitere Trend: KI wird schneller billiger

Diese Studie ist ein Datenpunkt in einem größeren Trend. Der AI Index Report 2025 von Stanford HAI ergab, dass die Inferenzkosten für ein System, das auf dem Niveau von GPT-3.5 arbeitet, zwischen November 2022 und Oktober 2024 um mehr als das 280-fache gesunken sind . Auf Hardware-Ebene sind die Kosten jährlich um 30 % gesunken, während die Energieeffizienz jedes Jahr um 40 % gestiegen ist .

Modelle mit offenen Gewichten schließen die Lücke zu geschlossenen Modellen ebenfalls und reduzierten den Leistungsunterschied innerhalb eines einzigen Jahres von 8 % auf nur 1,7 % bei einigen Benchmarks .

Eine Einschränkung: Die Studie hat Grenzen

Obwohl die Ergebnisse beeindruckend sind, ist es wichtig, den Umfang der Studie zu beachten. Sie testet nur einteilige Anfragen – einfache Chat-Antworten und in sich geschlossene Denkaufgaben. Sie bewertet keine lokalen Modelle bei mehrteiligen Gesprächen, kontextreichen Überlegungen oder komplexen agentischen Arbeitsabläufen, in denen Cloud-Modelle weiterhin einen erheblichen Vorteil haben .

Die getesteten lokalen Modelle (≤20 Mrd. Parameter) können bei den schwierigsten Problemen auch nicht mit den besten Cloud-Modellen mithalten. Die Autoren der Studie sind sich dessen bewusst: Die Genauigkeit variiert stark je nach Bereich, und die 88,7-%-Zahl überdeckt eine schwächere Leistung in technischen und wissenschaftlichen Feldern .

Das Fazit

Die Stanford-Studie zur 'Intelligenz pro Watt' liefert starke empirische Belege dafür, dass lokale KI eine kritische Schwelle überschritten hat. Für die Mehrheit der alltäglichen Anfragen – kreative Aufgaben, Management, Vertrieb, Unterhaltung – reicht ein kleines Modell auf dem Laptop bereits aus . Das rasante Tempo der Verbesserung lässt darauf schließen, dass diese Abdeckung nur noch weiter zunehmen wird.

Für Unternehmen ist die Botschaft klar: Die kosteneffizienteste KI-Infrastruktur ist zunehmend eine hybride, die einfache Anfragen an lokale Modelle weiterleitet und Cloud-Kapazitäten für die schwierigsten Aufgaben reserviert. Die Ära, in der jede einzelne Anfrage gegen eine Gebühr pro Token an ein massives Cloud-Modell gesendet wird, könnte sich ihrem Ende zuneigen.