Moonshot AI presenterer Kimi K3 som et argument for skalering på to akser: Først bygger man en langt større modell, deretter gir man den nok regnekraft under bruk til å resonnere, bruke verktøy, søke på nettet, programmere og rette egne feil. Den sentrale utfordringen er økonomi. En modell kan ikke bare bli tettere og dypere dersom kostnaden ved å betjene svært lange kontekster gjør funksjonene upraktiske. K3 er konstruert for å øke total kapasitet, samtidig som regne- og minnebruken per genererte token holdes under kontroll. 1

Total kapasitet er ikke det samme som aktiv regnekraft

Kimi K3 beskrives som en naturlig multimodal mixture-of-experts-modell (MoE) med 2,8 billioner parametere totalt, rundt 104 milliarder aktiverte parametere per token og et kontekstvindu på opptil én million token. 117

De to tallene beskriver ulike sider av modellen:

• Totalt antall parametere sier noe om hvor mye kapasitet som finnes i hele samlingen av eksperter.
• Aktiverte parametere per token sier noe om hvor stor del som faktisk brukes for et bestemt token etter ruting.

Det er den praktiske styrken ved MoE: K3 kan være mye større samlet sett enn en tett, tradisjonell modell med omtrent samme regnefotavtrykk per token. Det gjør ikke drift billig – 104 milliarder aktive parametere er fortsatt betydelig – men modellen slipper å betale inferenskostnaden til et tett nettverk med 2,8 billioner parametere for hvert token. 1

Moonshots poeng er dermed ikke bare at flere parametere er bedre. Påstanden er at betinget beregning kan gjøre en ny størrelsesorden av modellkapasitet anvendelig i langvarige oppgaver.

Én million token krever en annen type oppmerksomhetsarkitektur

Et kontekstvindu på én million token er krevende, ikke bare under trening, men også fordi vanlig oppmerksomhet kan gi stadig høyere minne- og beregningskostnader etter hvert som sekvensen vokser. K3 bruker derfor en hybrid som kombinerer Kimi Delta Attention (KDA) og Gated Multi-head Latent Attention (Gated MLA). Den oppgitte ryggraden består av 69 KDA-lag og 24 Gated MLA-lag, hovedsakelig organisert i et mønster med tre KDA-lag etterfulgt av ett MLA-lag. 112

KDA for vedvarende behandling av sekvensen

KDA er modellens komponent for lineær oppmerksomhet. I stedet for å beholde en konvensjonell nøkkel-verdi-cache som vokser gjennom hele historikken i hvert slikt lag, bruker den en tilbakevendende tilstand med fast størrelse. Hensikten er at minnetilstanden og dekodearbeidet ikke vokser med tidligere kontekst på samme måte som ved full oppmerksomhet. 1

Rapporten beskriver også en nedre grense for KDAs avtagingsrate. Dette er ikke bare et modellvalg: Grensen hindrer ekstremt små verdier som er vanskelige ved effektiv numerisk beregning, og muliggjør en blokkbasert implementering egnet for tensor-kjerner i moderne GPU-er. 1

Gated MLA for global gjenfinning

En lineær tilbakekobling alene gir ikke nødvendigvis samme evne til selektivt oppslag i hele konteksten som full oppmerksomhet. K3 beholder derfor Gated MLA-lag gjennom nettverket. I den rapporterte hybriden står KDA for rimelig, vedvarende sekvensbehandling, mens MLA med jevne mellomrom gir global gjenfinning av relevant informasjon. 1

Det interessante er at K3 behandler lang kontekst som et systemproblem så vel som et arkitekturproblem. Et stort oppgitt kontekstvindu er mest verdifullt når modellen fortsatt kan hente fram relevant informasjon og svare til en brukbar kostnad.

AttnRes skal bevare informasjon gjennom 93 lag

K3s andre arkitekturkomponent er Attention Residuals (AttnRes). Modellen har 93 lag, og rapporten bruker AttnRes for at senere lag kan hente komprimerte representasjoner fra tidligere dybdeblokker, i stedet for at all informasjon må føres strengt ett lag av gangen. 1

Forenklet sagt adresserer KDA informasjonsflyt langs sekvensen, mens AttnRes adresserer informasjonsflyt gjennom modellens dybde. Kombinasjonen er viktig i en dyp modell der store deler av stakken bruker lineær oppmerksomhet: Det er ikke nok å erstatte dyr global oppmerksomhet dersom nyttig informasjon går tapt eller isoleres når aktiveringene passerer gjennom nettet. 1

Stable LatentMoE gir betinget kapasitet

K3s MoE-lag skal bruke 896 rutede eksperter, der 16 eksperter velges per token. 16 Dette er mekanismen bak forskjellen mellom total og aktiv parameterkapasitet.

Rapportens Stable LatentMoE-tilnærming handler om å holde denne rutingen stabil og balansert. Den formulerer ekspertfordelingen på batchnivå som et optimaliseringsproblem og innfører kvantilbasert balansering. Rapporten utleder et eksakt optimum under sine forutsetninger. Ved utrulling bruker rutingen imidlertid faste ekspertbiaser og vanlig topp-k-utvalg, i stedet for å løse balanseringsproblemet på nytt for hver inferensbatch. 1

Det skillet er viktig. Et påstått optimalt likevektspunkt gjelder rapportens rutingsformulering, ikke en garanti for at alle reelle produksjonslaster vil fordele token helt jevnt over ekspertene.

MoonEP skal gjøre spredt ekspert-ruting gjennomførbar

Store MoE-modeller skaper også et nettverksproblem: Token må ofte sendes mellom enheter for å nå ekspertgruppen de er tildelt. Dersom enkelte eksperter får uforholdsmessig mye trafikk, kan den tregeste kommunikasjonsveien styre ventetiden.

Moonshot plasserer MoonEP som systemlaget som kompletterer ekspert-rutingen. Målet er å redusere ubalanse i all-til-all-kommunikasjonen som følger av spredt ruting, slik at den store ekspertpoolen kan trenes og betjenes effektivt. 1

Dette er sentralt i K3s overordnede påstand. Arkitektur, ruting og kommunikasjon kan ikke vurderes som uavhengige forklaringer på ytelse; alle tre må fungere sammen for å omgjøre teoretisk, spredt kapasitet til faktisk gjennomstrømning.

Den andre aksen: regnekraft for agentisk arbeid etter utrulling

Den andre delen av K3s strategi handler om hva som skjer etter forhåndstreningen. Moonshot beskriver infrastruktur for forsterkningslæringsforløp med langvarige oppgaver, verktøy, programmering, nettsøk og iterativ problemløsing. Rapporten beskriver også destillering av flere lærermodeller for fagområder og resonnering inn i ett system. 1

Støttemiljøet er et lettvekts sandkassesystem basert på virtuelle maskiner, laget for å opprette, ta øyeblikksbilder av og gjenoppta oppgavemiljøer i stor skala. Oppgitte tall er 51,2 millioner sandkasseinstanser, 133 ms for øyeblikksbilder og 49 ms for gjenoppretting. 1

Den strategiske hensikten er enkel: Skal en modell bruke mer testtidsberegning på planlegging, verktøykall, kontroll av eget arbeid eller videreføring av en lang oppgave, må treningsopplegget også eksponere den for slike forløp. Rimelig pause, forgrening og gjenoppretting av miljøer gjør flere slike treningsrunder mulige.

Det betyr ikke at ett enkelt svar automatisk får ubegrenset regnekraft. K3-rapporten argumenterer heller for et system som kan omsette flere steg og mer kontekst til bedre oppgaveløsning, framfor å være avhengig av bare en større forhåndstrent modell.

Hva BrowseComp-resultatet støtter – og ikke kan isolere

Kimi K3 oppgis å ha oppnådd 91,2 % på BrowseComp, en benchmark for langvarig informasjonsinnhenting. En tredjeparts resultatliste fører også opp K3 med 91,2 %, men rangeringer og rapporteringsoppsett kan endre seg over tid. 18

Resultatet passer med produktmålet: En modell konstruert for lang kontekst, agentisk ettertrening og resonnering ved bruk bør måles på komplekse oppgaver innen informasjonsinnhenting. Men resultatet er ikke en ren ablasjonstest av hver enkelt komponent.

Én enkelt benchmark-score kan ikke fortelle hvor mye som skyldes KDA, AttnRes, ekspert-ruting, kommunikasjonsinfrastruktur, RL-miljøer, destillering, prompting eller innstillinger under inferens. Den sterkeste tolkningen er at det rapporterte systemet fungerer godt som en integrert helhet – ikke at én arkitektonisk nyvinning alene forklarer resultatet. 118

Sammenligningen med DeepSeek er først og fremst arkitektonisk

K3 blir ofte framstilt som en utfordrer til andre store åpne modeller, inkludert DeepSeek-systemer. Det nøkterne poenget fra rapporten er ikke en endelig tabell over utviklingen i åpne modeller, men en annen designvektlegging: Moonshot argumenterer for en stakk som kombinerer svært stor spredt kapasitet, effektiv behandling av lang kontekst og infrastruktur for agentisk ettertrening. 117

Selve rapporten underbygger K3s spesifikasjoner og designvalg. Den fastslår ikke på egen hånd at andre åpne modeller har «stagnert», og den isolerer heller ikke en avgjørende arkitektonisk fordel mot en navngitt konkurrent. Slike markeds- og sammenligningspåstander krever konsistente, uavhengig reproduserte evalueringer.

Kostnadspåstander avhenger av konfigurasjonen

Sammenligninger av pris per token og kostnad per oppgave er lette å lese for mye inn i. De kan variere med prompting, resonneringsnivå, kontekstlengde, caching, verktøybruk, gjennomstrømmingsforutsetninger, prisdato og evalueringsrammeverk.

En publisert sammenligning i det tilgjengelige materialet anslår kostnaden per fullførte oppgave til omtrent 0,94 dollar for K3 og 1,04 dollar for GPT-5.6 Sol. Det kan peke mot en beskjeden fordel i akkurat dette oppsettet, men underbygger ikke en generell påstand om at K3 koster halvparten så mye som Sol. 20

Den mer nyttige konklusjonen er mindre dramatisk: K3 er et forsøk på å gjøre lang kontekst og agentiske funksjoner økonomisk troverdige ved en langt større total modellskala. Om fordelen holder i praksis, avhenger av reproduserbare evalueringer og kostnadsregnskap for den konkrete utrullingen.

Kort oppsummert

Kimi K3s tekniske rapport argumenterer for en fullstendig skaleringsstrategi. Skalering før utrulling kommer fra en MoE med 2,8 billioner parametere og rundt 104 milliarder aktiverte parametere per token. Skalering etter utrulling kommer fra trening og drift av en modell som kan bruke lang kontekst, verktøy, resonneringssteg og agentiske forløp. 117

KDA, Gated MLA, AttnRes, Stable LatentMoE, MoonEP og RL-infrastrukturen for sandkasser inngår i samme påstand: Agentisk atferd på toppnivå krever ikke bare en større modell, men også et design som gjør mer kontekst og mer arbeid ved inferens praktisk anvendelig. Benchmark-resultatene er lovende dokumentasjon for den integrerte tilnærmingen, men bør leses som rapporterte systemresultater – ikke som endelig bevis for bidraget fra hver enkelt komponent. 118

Moonshot AI presenterer Kimi K3 som et argument for skalering på to akser: Først bygger man en langt større modell, deretter gir man den nok regnekraft under bruk til å resonnere, bruke verktøy, søke på nettet, programmere og rette egne feil. Den sentrale utfordringen er økonomi. En modell kan ikke bare bli tettere og dypere dersom kostnaden ved å betjene svært lange kontekster gjør funksjonene upraktiske. K3 er konstruert for å øke total kapasitet, samtidig som regne- og minnebruken per genererte token holdes under kontroll. 1

Total kapasitet er ikke det samme som aktiv regnekraft

Kimi K3 beskrives som en naturlig multimodal mixture-of-experts-modell (MoE) med 2,8 billioner parametere totalt, rundt 104 milliarder aktiverte parametere per token og et kontekstvindu på opptil én million token. 117

De to tallene beskriver ulike sider av modellen:

• Totalt antall parametere sier noe om hvor mye kapasitet som finnes i hele samlingen av eksperter.
• Aktiverte parametere per token sier noe om hvor stor del som faktisk brukes for et bestemt token etter ruting.

Det er den praktiske styrken ved MoE: K3 kan være mye større samlet sett enn en tett, tradisjonell modell med omtrent samme regnefotavtrykk per token. Det gjør ikke drift billig – 104 milliarder aktive parametere er fortsatt betydelig – men modellen slipper å betale inferenskostnaden til et tett nettverk med 2,8 billioner parametere for hvert token. 1

Moonshots poeng er dermed ikke bare at flere parametere er bedre. Påstanden er at betinget beregning kan gjøre en ny størrelsesorden av modellkapasitet anvendelig i langvarige oppgaver.

Én million token krever en annen type oppmerksomhetsarkitektur

Et kontekstvindu på én million token er krevende, ikke bare under trening, men også fordi vanlig oppmerksomhet kan gi stadig høyere minne- og beregningskostnader etter hvert som sekvensen vokser. K3 bruker derfor en hybrid som kombinerer Kimi Delta Attention (KDA) og Gated Multi-head Latent Attention (Gated MLA). Den oppgitte ryggraden består av 69 KDA-lag og 24 Gated MLA-lag, hovedsakelig organisert i et mønster med tre KDA-lag etterfulgt av ett MLA-lag. 112

KDA for vedvarende behandling av sekvensen

KDA er modellens komponent for lineær oppmerksomhet. I stedet for å beholde en konvensjonell nøkkel-verdi-cache som vokser gjennom hele historikken i hvert slikt lag, bruker den en tilbakevendende tilstand med fast størrelse. Hensikten er at minnetilstanden og dekodearbeidet ikke vokser med tidligere kontekst på samme måte som ved full oppmerksomhet. 1

Rapporten beskriver også en nedre grense for KDAs avtagingsrate. Dette er ikke bare et modellvalg: Grensen hindrer ekstremt små verdier som er vanskelige ved effektiv numerisk beregning, og muliggjør en blokkbasert implementering egnet for tensor-kjerner i moderne GPU-er. 1

Gated MLA for global gjenfinning

En lineær tilbakekobling alene gir ikke nødvendigvis samme evne til selektivt oppslag i hele konteksten som full oppmerksomhet. K3 beholder derfor Gated MLA-lag gjennom nettverket. I den rapporterte hybriden står KDA for rimelig, vedvarende sekvensbehandling, mens MLA med jevne mellomrom gir global gjenfinning av relevant informasjon. 1

Det interessante er at K3 behandler lang kontekst som et systemproblem så vel som et arkitekturproblem. Et stort oppgitt kontekstvindu er mest verdifullt når modellen fortsatt kan hente fram relevant informasjon og svare til en brukbar kostnad.

AttnRes skal bevare informasjon gjennom 93 lag

K3s andre arkitekturkomponent er Attention Residuals (AttnRes). Modellen har 93 lag, og rapporten bruker AttnRes for at senere lag kan hente komprimerte representasjoner fra tidligere dybdeblokker, i stedet for at all informasjon må føres strengt ett lag av gangen. 1

Forenklet sagt adresserer KDA informasjonsflyt langs sekvensen, mens AttnRes adresserer informasjonsflyt gjennom modellens dybde. Kombinasjonen er viktig i en dyp modell der store deler av stakken bruker lineær oppmerksomhet: Det er ikke nok å erstatte dyr global oppmerksomhet dersom nyttig informasjon går tapt eller isoleres når aktiveringene passerer gjennom nettet. 1

Stable LatentMoE gir betinget kapasitet

K3s MoE-lag skal bruke 896 rutede eksperter, der 16 eksperter velges per token. 16 Dette er mekanismen bak forskjellen mellom total og aktiv parameterkapasitet.

Rapportens Stable LatentMoE-tilnærming handler om å holde denne rutingen stabil og balansert. Den formulerer ekspertfordelingen på batchnivå som et optimaliseringsproblem og innfører kvantilbasert balansering. Rapporten utleder et eksakt optimum under sine forutsetninger. Ved utrulling bruker rutingen imidlertid faste ekspertbiaser og vanlig topp-k-utvalg, i stedet for å løse balanseringsproblemet på nytt for hver inferensbatch. 1

Det skillet er viktig. Et påstått optimalt likevektspunkt gjelder rapportens rutingsformulering, ikke en garanti for at alle reelle produksjonslaster vil fordele token helt jevnt over ekspertene.

MoonEP skal gjøre spredt ekspert-ruting gjennomførbar

Store MoE-modeller skaper også et nettverksproblem: Token må ofte sendes mellom enheter for å nå ekspertgruppen de er tildelt. Dersom enkelte eksperter får uforholdsmessig mye trafikk, kan den tregeste kommunikasjonsveien styre ventetiden.

Moonshot plasserer MoonEP som systemlaget som kompletterer ekspert-rutingen. Målet er å redusere ubalanse i all-til-all-kommunikasjonen som følger av spredt ruting, slik at den store ekspertpoolen kan trenes og betjenes effektivt. 1

Dette er sentralt i K3s overordnede påstand. Arkitektur, ruting og kommunikasjon kan ikke vurderes som uavhengige forklaringer på ytelse; alle tre må fungere sammen for å omgjøre teoretisk, spredt kapasitet til faktisk gjennomstrømning.

Den andre aksen: regnekraft for agentisk arbeid etter utrulling

Den andre delen av K3s strategi handler om hva som skjer etter forhåndstreningen. Moonshot beskriver infrastruktur for forsterkningslæringsforløp med langvarige oppgaver, verktøy, programmering, nettsøk og iterativ problemløsing. Rapporten beskriver også destillering av flere lærermodeller for fagområder og resonnering inn i ett system. 1

Støttemiljøet er et lettvekts sandkassesystem basert på virtuelle maskiner, laget for å opprette, ta øyeblikksbilder av og gjenoppta oppgavemiljøer i stor skala. Oppgitte tall er 51,2 millioner sandkasseinstanser, 133 ms for øyeblikksbilder og 49 ms for gjenoppretting. 1

Den strategiske hensikten er enkel: Skal en modell bruke mer testtidsberegning på planlegging, verktøykall, kontroll av eget arbeid eller videreføring av en lang oppgave, må treningsopplegget også eksponere den for slike forløp. Rimelig pause, forgrening og gjenoppretting av miljøer gjør flere slike treningsrunder mulige.

Det betyr ikke at ett enkelt svar automatisk får ubegrenset regnekraft. K3-rapporten argumenterer heller for et system som kan omsette flere steg og mer kontekst til bedre oppgaveløsning, framfor å være avhengig av bare en større forhåndstrent modell.

Hva BrowseComp-resultatet støtter – og ikke kan isolere

Kimi K3 oppgis å ha oppnådd 91,2 % på BrowseComp, en benchmark for langvarig informasjonsinnhenting. En tredjeparts resultatliste fører også opp K3 med 91,2 %, men rangeringer og rapporteringsoppsett kan endre seg over tid. 18

Resultatet passer med produktmålet: En modell konstruert for lang kontekst, agentisk ettertrening og resonnering ved bruk bør måles på komplekse oppgaver innen informasjonsinnhenting. Men resultatet er ikke en ren ablasjonstest av hver enkelt komponent.

Én enkelt benchmark-score kan ikke fortelle hvor mye som skyldes KDA, AttnRes, ekspert-ruting, kommunikasjonsinfrastruktur, RL-miljøer, destillering, prompting eller innstillinger under inferens. Den sterkeste tolkningen er at det rapporterte systemet fungerer godt som en integrert helhet – ikke at én arkitektonisk nyvinning alene forklarer resultatet. 118

Sammenligningen med DeepSeek er først og fremst arkitektonisk

K3 blir ofte framstilt som en utfordrer til andre store åpne modeller, inkludert DeepSeek-systemer. Det nøkterne poenget fra rapporten er ikke en endelig tabell over utviklingen i åpne modeller, men en annen designvektlegging: Moonshot argumenterer for en stakk som kombinerer svært stor spredt kapasitet, effektiv behandling av lang kontekst og infrastruktur for agentisk ettertrening. 117

Selve rapporten underbygger K3s spesifikasjoner og designvalg. Den fastslår ikke på egen hånd at andre åpne modeller har «stagnert», og den isolerer heller ikke en avgjørende arkitektonisk fordel mot en navngitt konkurrent. Slike markeds- og sammenligningspåstander krever konsistente, uavhengig reproduserte evalueringer.

Kostnadspåstander avhenger av konfigurasjonen

Sammenligninger av pris per token og kostnad per oppgave er lette å lese for mye inn i. De kan variere med prompting, resonneringsnivå, kontekstlengde, caching, verktøybruk, gjennomstrømmingsforutsetninger, prisdato og evalueringsrammeverk.

En publisert sammenligning i det tilgjengelige materialet anslår kostnaden per fullførte oppgave til omtrent 0,94 dollar for K3 og 1,04 dollar for GPT-5.6 Sol. Det kan peke mot en beskjeden fordel i akkurat dette oppsettet, men underbygger ikke en generell påstand om at K3 koster halvparten så mye som Sol. 20

Den mer nyttige konklusjonen er mindre dramatisk: K3 er et forsøk på å gjøre lang kontekst og agentiske funksjoner økonomisk troverdige ved en langt større total modellskala. Om fordelen holder i praksis, avhenger av reproduserbare evalueringer og kostnadsregnskap for den konkrete utrullingen.

Kort oppsummert

Kimi K3s tekniske rapport argumenterer for en fullstendig skaleringsstrategi. Skalering før utrulling kommer fra en MoE med 2,8 billioner parametere og rundt 104 milliarder aktiverte parametere per token. Skalering etter utrulling kommer fra trening og drift av en modell som kan bruke lang kontekst, verktøy, resonneringssteg og agentiske forløp. 117

KDA, Gated MLA, AttnRes, Stable LatentMoE, MoonEP og RL-infrastrukturen for sandkasser inngår i samme påstand: Agentisk atferd på toppnivå krever ikke bare en større modell, men også et design som gjør mer kontekst og mer arbeid ved inferens praktisk anvendelig. Benchmark-resultatene er lovende dokumentasjon for den integrerte tilnærmingen, men bør leses som rapporterte systemresultater – ikke som endelig bevis for bidraget fra hver enkelt komponent. 118