Kimi K3: Warum Moonshot KI nicht nur größer, sondern länger arbeiten lassen will

Moonshot AI präsentiert Kimi K3 als Wette auf zwei Formen der Skalierung: Erst wird das Modell vor dem Einsatz deutlich größer gebaut, dann bekommt es im Einsatz genug Rechenzeit, um zu planen, Tools aufzurufen, zu browsen, Code zu schreiben und Fehler zu korrigieren. Der Knackpunkt ist dabei nicht allein die Modellqualität, sondern die Ökonomie: Ein Modell darf nicht so teuer im Langkontext-Betrieb sein, dass seine agentischen Fähigkeiten praktisch kaum nutzbar sind. 1

2,8 Billionen Parameter – aber nicht alle arbeiten bei jedem Token

Kimi K3 ist laut Moonshot ein nativ multimodales Mixture-of-Experts-Modell (MoE) mit 2,8 Billionen Parametern insgesamt, rund 104 Milliarden aktivierten Parametern pro Token und einem Kontextfenster von bis zu einer Million Tokens. 117

Die beiden Parameterzahlen beschreiben Unterschiedliches:

• Gesamtparameter stehen für die gesamte Kapazität über alle Experten hinweg.
• Aktive Parameter pro Token beschreiben den Teil des Modells, den das Routing für ein konkretes Token auswählt.

Genau darin liegt der praktische Reiz eines MoE: K3 kann insgesamt wesentlich größer sein als ein dichtes Modell mit ähnlichem Rechenaufwand pro Token. Günstig ist der Betrieb damit keineswegs – 104 Milliarden aktive Parameter sind weiterhin enorm. Aber bei jedem Token muss eben nicht ein dichtes Netz mit 2,8 Billionen Parametern berechnet werden. 1

Moonshots These lautet daher nicht bloß: Mehr Parameter sind automatisch besser. Die Idee ist vielmehr, dass bedingte Berechnung eine neue Größenordnung an Modellkapazität für lang laufende Aufgaben nutzbar machen kann.

Eine Million Tokens verlangt eine andere Attention-Architektur

Ein Kontextfenster von einer Million Tokens ist nicht nur eine Trainingsfrage. Bei herkömmlicher Attention können Speicherbedarf und Rechenaufwand mit wachsender Eingabelänge schnell zum Engpass werden. K3 kombiniert deshalb Kimi Delta Attention (KDA) mit Gated Multi-head Latent Attention (Gated MLA). Der Backbone besteht laut Bericht aus 69 KDA- und 24 Gated-MLA-Schichten – im Wesentlichen im Rhythmus von drei KDA- auf eine MLA-Schicht. 112

KDA für persistente Verarbeitung langer Sequenzen

KDA ist die lineare Attention-Komponente des Modells. Statt in jeder solchen Schicht über die gesamte Historie einen herkömmlich wachsenden Key-Value-Cache vorzuhalten, verwendet sie einen rekurrenten Zustand fester Größe. Damit sollen Speicherzustand und Decodieraufwand nicht in derselben Weise mit dem bisherigen Kontext anwachsen wie bei vollständiger Attention. 1

Der Bericht beschreibt außerdem eine Untergrenze für die Zerfallsrate von KDA. Das ist nicht nur eine Modellierungsentscheidung: Extrem kleine Zerfallswerte können für effiziente numerische Berechnungen problematisch sein. Die Begrenzung erlaubt eine blockweise Implementierung, die auf Tensor Cores ausgelegt ist. 1

Gated MLA für gezielten globalen Zugriff

Lineare Rekurrenz allein bietet nicht zwangsläufig denselben selektiven Zugriff auf weit zurückliegende Informationen wie volle Attention. Deshalb bleiben Gated-MLA-Schichten im gesamten Netz erhalten. Im Hybridansatz übernimmt KDA die vergleichsweise günstige kontinuierliche Sequenzverarbeitung, während MLA regelmäßig globales Abrufen ermöglicht. 1

Das macht deutlich: Ein großes Kontextfenster ist ebenso ein Systems- wie ein Architekturthema. Die Angabe „eine Million Tokens“ ist vor allem dann relevant, wenn das Modell darin noch Informationen finden und zu vertretbaren Kosten Antworten erzeugen kann.

AttnRes soll Informationen über 93 Schichten hinweg erhalten

Die zweite zentrale Architekturkomponente heißt Attention Residuals (AttnRes). K3 besitzt 93 Schichten. AttnRes soll späteren Schichten ermöglichen, komprimierte Repräsentationen aus früheren Tiefenblöcken abzurufen, statt sämtliche Information strikt Schicht für Schicht weiterreichen zu müssen. 1

Vereinfacht gesagt adressiert KDA den Informationsfluss über die Sequenzlänge, AttnRes den Informationsfluss über die Modelltiefe. Gerade bei einem tiefen Modell, dessen Stack überwiegend lineare Attention nutzt, ist das wichtig: Der Ersatz teurer globaler Attention hilft nur, wenn nützliche Information auf dem Weg durch das Netz nicht verloren geht oder isoliert wird. 1

Stable LatentMoE liefert Kapazität auf Abruf

Die MoE-Schichten von K3 nutzen laut Bericht 896 geroutete Experten, von denen pro Token 16 Experten ausgewählt werden. 16 Dadurch entsteht die große Differenz zwischen Gesamt- und aktiven Parametern.

Der Ansatz Stable LatentMoE konzentriert sich darauf, dieses Routing stabil und ausgewogen zu halten. Die Zuweisung von Tokens zu Experten innerhalb eines Batches wird als Optimierungsproblem formuliert; hinzu kommt ein quantilbasiertes Verfahren zur Lastverteilung. Unter den Annahmen des Berichts wird ein exaktes Optimum hergeleitet. Im Betrieb löst das System dieses Problem jedoch nicht für jeden Inferenz-Batch neu, sondern nutzt feste Experten-Biases und herkömmliche Top-k-Auswahl. 1

Das ist eine wichtige Einschränkung: Das theoretische Gleichgewicht bezieht sich auf die formulierte Routing-Optimierung. Es ist keine Zusage, dass sich Tokens in jeder realen Produktionslast perfekt gleichmäßig auf alle Experten verteilen.

MoonEP soll das Netzwerkproblem großer MoEs entschärfen

Bei großen MoE-Modellen entsteht auch ein Kommunikationsproblem: Ausgewählte Tokens müssen oft zwischen Geräten übertragen werden, um die zugeordneten Experten zu erreichen. Wenn einzelne Experten überproportional viele Anfragen erhalten, kann der langsamste Kommunikationspfad die Latenz bestimmen.

Moonshot positioniert MoonEP als Systemschicht für diese Experten-parallele Kommunikation. Es soll Ungleichgewichte bei den durch sparsames Routing entstehenden All-to-all-Transfers reduzieren und damit helfen, den großen Expertenpool trainierbar und betreibbar zu machen. 1

Das ist ein Kernpunkt der K3-Argumentation: Architektur, Routing und Kommunikation lassen sich nicht getrennt als Erklärungen für die Leistung bewerten. Erst ihr Zusammenspiel macht aus theoretischer, sparsamer Kapazität tatsächlich nutzbaren Durchsatz.

Die zweite Achse: Rechenzeit für agentische Arbeit

Die zweite Hälfte von Moonshots Strategie beginnt nach dem Pretraining. K3 wurde laut Bericht mit Infrastruktur für Reinforcement-Learning-Trajektorien bei lang laufenden Aufgaben, Tool-Nutzung, Programmierung, Webrecherche und iterativem Problemlösen entwickelt. Zudem beschreibt Moonshot die Destillation mehrerer Fach- und Reasoning-Lehrermodelle in ein gemeinsames System. 1

Unterstützt wird das durch eine Sandbox-Infrastruktur auf Basis schlanker virtueller Maschinen. Genannt werden 51,2 Millionen Sandbox-Instanzen, Snapshots in 133 Millisekunden und Wiederherstellungen in 49 Millisekunden. 1

Der strategische Zweck: Wenn ein Modell zur Laufzeit zusätzliche Rechenschritte für Planung, Tool-Aufrufe, Prüfung oder lange Aufgaben nutzen soll, muss es im Training solchen Abläufen begegnen. Günstiges Pausieren, Verzweigen und Wiederherstellen von Umgebungen kann mehr dieser Trainings-Rollouts ermöglichen.

Das bedeutet nicht, dass jede K3-Antwort unbegrenzt viel Rechenzeit erhält. Die These lautet vielmehr, dass das System zusätzliche Schritte und mehr Kontext in bessere Aufgabenergebnisse umsetzen soll – statt sich allein auf ein noch größeres vortrainiertes Modell zu verlassen.

Was der BrowseComp-Wert aussagt – und was nicht

Für BrowseComp, einen Benchmark für langwierige Informationssuche, wird Kimi K3 mit 91,2 % angegeben. Ein externes Leaderboard führt K3 ebenfalls mit 91,2 %, wobei sich Ranglisten und Testkonfigurationen im Zeitverlauf ändern können. 18

Das passt zum Produktziel: Ein Modell, das auf Langkontext, agentisches Nachtraining und Inferenz-Reasoning ausgelegt ist, sollte sich an komplexen Rechercheaufgaben messen lassen. Doch der Wert ist keine saubere Einzelmessung der Komponenten.

Ein Benchmark-Ergebnis kann nicht aufschlüsseln, welcher Anteil von KDA, AttnRes, Expertenrouting, Kommunikationsinfrastruktur, RL-Umgebungen, Destillation, Prompting oder Inferenz-Einstellungen stammt. Die belastbarste Lesart lautet: Das berichtete System funktioniert als integrierter Stack gut – nicht, dass eine einzelne Architekturidee den Wert allein erklärt. 118

Der Vergleich mit DeepSeek ist vor allem ein Architekturvergleich

K3 wird häufig als Herausforderer anderer großer offener Modelle eingeordnet, darunter DeepSeek-Systeme. Aus dem Bericht lässt sich vor allem eine andere technische Schwerpunktsetzung ableiten: Moonshot setzt auf extrem große sparsame Kapazität, effizientere Langkontext-Verarbeitung und Infrastruktur für agentisches Nachtraining. 117

Der Bericht selbst belegt Spezifikationen und Designentscheidungen von K3. Er belegt nicht für sich genommen, dass andere offene Modelle stagnierten oder dass K3 gegenüber einem bestimmten Konkurrenten einen entscheidenden Architekturvorsprung besitzt. Dafür wären konsistente und unabhängig reproduzierte Vergleiche nötig.

Kostenangaben bleiben konfigurationsabhängig

Vergleiche von Tokenpreisen oder Kosten pro erledigter Aufgabe sind besonders leicht zu überinterpretieren. Sie hängen unter anderem von Prompting, Reasoning-Aufwand, Kontextlänge, Caching, Tool-Nutzung, Durchsatzannahmen, Preisstand und Testumgebung ab.

Ein veröffentlichter Vergleich schätzt die Kosten pro abgeschlossener Aufgabe auf etwa 0,94 US-Dollar für K3 und 1,04 US-Dollar für GPT-5.6 Sol. Das kann in dieser konkreten Konfiguration auf einen kleinen Vorteil hindeuten, stützt aber keine allgemeine Behauptung, K3 koste nur die Hälfte von Sol. 20

Die nüchternere Schlussfolgerung ist langlebiger: K3 ist ein Versuch, Langkontext- und Agentenfähigkeiten bei deutlich größerer Gesamtskala wirtschaftlich glaubwürdig zu machen. Ob das im praktischen Einsatz gelingt, hängt von reproduzierbaren Evaluierungen und einer belastbaren Kostenrechnung für den jeweiligen Betrieb ab.

Fazit

Der technische Bericht zu Kimi K3 formuliert ein Full-Stack-Argument für Skalierung. Skalierung vor dem Einsatz entsteht durch ein MoE mit 2,8 Billionen Parametern und rund 104 Milliarden aktiven Parametern pro Token. Skalierung im Einsatz entsteht durch ein Modell, das Langkontext, Tools, Reasoning-Schritte und agentische Rollouts produktiv verwenden soll. 117

KDA, Gated MLA, AttnRes, Stable LatentMoE, MoonEP und die RL-Sandbox-Infrastruktur sind Teile derselben Wette: Leistungsfähiges agentisches Verhalten braucht nicht nur ein größeres Modell, sondern auch ein Design, das mehr Kontext und mehr Inferenzarbeit praktisch nutzbar macht. Die Benchmark-Ergebnisse sind dafür ein vielversprechender Hinweis auf Systemebene – aber noch kein endgültiger Beweis für den Beitrag jeder einzelnen Komponente. 118