Kimi K3: Warum Moonshot KI-Fortschritt als Doppel-Skalierung versteht

Moonshot AIs zentrale These hinter Kimi K3 lautet: Spitzenleistung entsteht nicht allein durch ein immer größeres Modelltraining vor der Veröffentlichung. Ebenso wichtig wird Rechenaufwand nach der Bereitstellung – also wenn ein Modell länger nachdenkt, Tools verwendet, Webseiten durchsucht, Code ausführt oder eigene Zwischenschritte überprüft. K3 soll diese beiden Formen der Skalierung wirtschaftlich zusammenbringen. 1

Große Kapazität, aber nicht die Kosten eines dichten 2,8-T-Modells

Kimi K3 wird als natives multimodales Mixture-of-Experts-Modell (MoE) mit 2,78 Billionen Gesamtparametern und 104,2 Milliarden aktivierten Parametern pro Token beschrieben. Das Modell kann damit eine sehr große Gesamtmenge an Fähigkeiten speichern, ohne bei jedem Token sämtliche 2,78 Billionen Parameter berechnen zu müssen. 1

Der Unterschied ist entscheidend: Bei einem MoE-Modell wählen Router für jedes Token nur einen Teil der Experten aus. Moonshot versucht damit, Kapazität beim Vortraining deutlich zu erhöhen, während die Kosten beim Antworten näher an der Zahl der jeweils aktiven Parameter bleiben.

Auch das Kontextfenster ist größer als gelegentlich verkürzt wiedergegeben: Der Bericht beansprucht eine native Extrapolation auf eine Million Token, nicht auf 100.000. Trainiert wurde zunächst mit Kontexten von 8.000 und später 64.000 Token. Explizite Positions-Embeddings verwendet K3 nicht; laut Bericht reichen die rekurrenten Gates und Zerfallsmechanismen der Kimi Delta Attention (KDA) aus, um Positionsinformation zu kodieren und ohne Anpassung von RoPE auf längere Kontexte zu extrapolieren. 1

Architektur für lange Kontexte und günstigeres Decoding

K3 ersetzt einen Großteil der herkömmlichen, quadratisch skalierenden Aufmerksamkeit durch Kimi Delta Attention (KDA). Dabei wird Sequenzinformation in einem rekurrenten Zustand fester Größe weitergeführt. Anders als ein vollständiger KV-Cache wächst dieser Zustand – und damit der Aufwand beim schrittweisen Generieren – nicht in derselben Weise mit jedem zusätzlichen Token im bisherigen Kontext. 1

Moonshot kombiniert jeweils drei KDA-Schichten mit einer Schicht Gated MLA. KDA übernimmt die kostengünstige Verarbeitung über lange Folgen, während Gated MLA gezielteren globalen Abruf erlauben soll. 1

Der im Bericht genannte Mindestwert für die Zerfallsrate von KDA ist dabei nicht bloß ein Modellierungsdetail. Er soll extrem kleine, numerisch problematische Werte vermeiden und eine blockweise, für Tensor-Kerne geeignete Berechnung ermöglichen. 1

Mit Attention Residuals (AttnRes) will Moonshot zudem verhindern, dass Information in einem sehr tiefen, überwiegend linear arbeitenden Aufmerksamkeits-Stack zu stark isoliert wird. Spätere Schichten können komprimierte Repräsentationen aus früheren Tiefenblöcken wieder abrufen. Das 93 Schichten tiefe Netz muss relevante Information damit nicht ausschließlich Schicht für Schicht weiterreichen. 1

Mehr Experten brauchen auch ein besseres Netzwerksystem

Die Breite des Modells wird über 896 Experten und Top-16-Routing skaliert. Das Verfahren Stable LatentMoE soll die Zuordnung von Token zu Experten stabiler ausbalancieren. Laut Bericht formuliert die Quantil-Balancierung diese Verteilung als Optimierungsproblem und leitet unter Annahmen auf Batch-Ebene eine exakte Lösung ab. Im Einsatz wird dieser Solver jedoch nicht bei jeder Anfrage ausgeführt: Der Router nutzt feste Experten-Biases und eine gewöhnliche Top-k-Auswahl. 1

Das ist mehr als die übliche Lastverteilung über einen zusätzlichen Trainingsverlust. Die behauptete „perfekte“ Balance gilt jedoch für das im Bericht definierte Routing-Optimierungsproblem – nicht als Garantie, dass jede reale Anfrage- oder Produktionsbatch perfekt verteilt wäre.

Hinzu kommt MoonEP, eine Infrastruktur für Expert Parallelism. Bei einem großen MoE müssen Tokens zu den ausgewählten Experten über Rechner hinweg übertragen werden. Wenn einzelne Experten besonders gefragt sind, können Kommunikationswartezeiten die Latenz dominieren. MoonEP soll diese All-to-all-Kommunikation so ausgleichen, dass das 896-Experten-Modell überhaupt effizient trainiert und betrieben werden kann. Architektur und Systemdesign sind hier keine getrennten Erfolgserklärungen, sondern voneinander abhängig. 1

Die zweite Skalierungsachse: Rechnen während der Nutzung

Der zweite Teil von Moonshots Argument betrifft die Zeit nach dem Training. Für Agentenaufgaben genügt es oft nicht, eine Antwort in einem einzelnen Durchlauf zu erzeugen. Ein System muss möglicherweise planen, recherchieren, browsen, Code schreiben und testen, Werkzeuge aufrufen oder nach einem Fehler einen neuen Versuch starten.

Moonshot beschreibt dafür eine Sandbox-Flotte auf Basis schlanker virtueller Maschinen. Sie soll viele überprüfbare RL-Trajektorien über längere Abläufe erzeugen und durch Snapshots günstiges Verzweigen oder Wiederaufnehmen ermöglichen. Das liefert die Trainingsumgebung für Modelle, die bei der Inferenz mehr Schritte einsetzen können, statt nur auf die Fähigkeiten eines größeren, aber statischen vortrainierten Modells zu vertrauen. 1

Der Bericht nennt außerdem die Destillation mehrerer Fach- und Reasoning-Lehrer in ein einzelnes System. Spezialisierte Verhaltensweisen sollen damit gebündelt werden, ohne dass zur Auslieferung neun getrennte Modelle betrieben werden müssen. 1

Was die Benchmark-Zahl aussagt – und was nicht

Auf der BrowseComp-Rangliste lag Kimi K3 zum 2. September 2026 bei 91,2 %; GPT-5.6 Sol führte mit 92,2 %. BrowseComp soll Webrecherche über längere, anspruchsvolle Aufgaben messen. 4

Ein reproduzierter Wert von 91,2 % wäre ein starkes Indiz dafür, dass K3 bei langwieriger informationssuchender Agentenarbeit leistungsfähig ist. Er beweist aber nicht, welche Komponente dafür ausschlaggebend war: KDA, AttnRes, MoE-Routing, RL-Umgebungen, Destillation und Inferenz-Compute greifen im End-to-End-System zusammen. Der Benchmark isoliert ihre Einzelbeiträge nicht. 4

Vorsicht bei Kostenvergleichen

Exakte Preisvergleiche mit anderen Spitzenmodellen sind auf Basis der vorliegenden Quellen nicht sicher zu bestätigen. Weder die Behauptung, K3 koste nur halb so viel wie GPT-5.6 Sol, noch ein konkreter Abstand zu „Claude Fable 5“ bei einem bestimmten Coding-Benchmark ist hier ausreichend belegt.

Eine angeführte Vergleichsquelle schätzt die Kosten je erfolgreich abgeschlossener Aufgabe auf rund 0,94 US-Dollar für K3 und 1,04 US-Dollar für GPT-5.6 Sol. Das entspricht gerade nicht einem Abstand von 50 Prozent. 8 Solche Werte hängen ohnehin von Konfiguration, Prompts, Preisstand, Toolnutzung und der vollständigen Kostenrechnung eines Evaluierungsharnesses ab.

Unterm Strich ist K3 daher vor allem ein Architektur- und Systemargument: Moonshot vertritt die Position, dass offene Modelle für den Sprung über die Billionen-Parameter-Schwelle nicht nur mehr Gewichte brauchen. Sie benötigen auch eine Infrastruktur, die lange Kontexte und agentisches Rechnen zur Nutzungszeit praktisch bezahlbar macht. Aussagen darüber, dass offene Modelle generell nahe einer Billion Parameter feststeckten oder K3 bestimmte Konkurrenten überhole, werden durch den technischen Bericht allein allerdings nicht belegt. 1