Moonshot AI beskriver Kimi K3 som ett försök att skala AI längs två axlar: dels bygga en betydligt större modell före driftsättning, dels ge den tillräckligt med beräkning vid användning för att resonera, använda verktyg, söka på webben, programmera och rätta misstag. Den avgörande frågan är ekonomisk. En modell kan inte bara göras djupare och mer kapabel om kostnaden för att köra den med lång kontext blir orimlig. K3 är byggd för att öka den totala kapaciteten utan att kostnaden i beräkning och minne per genererad token växer lika mycket. 1

Total kapacitet är inte samma sak som aktiv beräkning

Kimi K3 beskrivs som en inbyggt multimodal Mixture-of-Experts-modell, eller MoE, med 2,8 biljoner parametrar totalt, omkring 104 miljarder aktiverade parametrar per token och ett kontextfönster på upp till en miljon token. 117

Siffrorna mäter olika saker:

• Totalt antal parametrar säger något om hur mycket kapacitet som finns i hela samlingen av experter.
• Aktiva parametrar per token visar hur stor del av modellen som faktiskt används efter routningen för en viss token.

Det är den praktiska poängen med MoE. K3 kan vara mycket större totalt än en tät modell med jämförbar beräkning per token, utan att varje token behöver passera ett tätt nätverk med 2,8 biljoner parametrar. Det gör inte körningen billig – 104 miljarder aktiva parametrar är fortfarande mycket – men undviker kostnaden för att använda hela modellen varje gång. 1

Moonshots argument är alltså inte bara att fler parametrar alltid är bättre. Tanken är att villkorad beräkning kan göra en ny kapacitetsnivå användbar även för uppgifter som tar lång tid att slutföra.

Lång kontext kräver en annan typ av uppmärksamhetsmekanism

Ett kontextfönster på en miljon token är svårt inte bara under träning. Konventionell attention kan också kräva allt mer minne och beräkning när sekvensen blir längre. K3 kombinerar därför Kimi Delta Attention (KDA) med Gated Multi-head Latent Attention (Gated MLA). Den rapporterade ryggraden har 69 KDA-lager och 24 Gated MLA-lager, huvudsakligen i ett mönster med tre KDA-lager följt av ett MLA-lager. 112

KDA för löpande hantering av sekvensen

KDA är modellens komponent för linjär attention. I stället för att behålla en växande traditionell key-value-cache genom hela historiken i varje sådant lager använder den ett återkommande tillstånd med fast storlek. Avsikten är att minnesbehovet och avkodningsarbetet inte ska öka med tidigare kontext på samma sätt som vid full attention. 1

Rapporten beskriver också en nedre gräns för KDA:s avklingningshastighet. Det är inte enbart ett modellval: gränsen hindrar extremt små värden som är olämpliga för effektiv numerisk beräkning och möjliggör en blockindelad implementation lämpad för tensor-kärnor i moderna GPU:er. 1

Gated MLA behåller global återhämtning av information

Enbart linjär återkoppling ger inte nödvändigtvis samma förmåga att selektivt hitta relevant information i hela kontexten som full attention. Därför finns Gated MLA-lager kvar genom nätverket. I hybridlösningen står KDA för billig, kontinuerlig bearbetning medan MLA med jämna mellanrum ger global informationshämtning. 1

Det intressanta är att lång kontext behandlas som ett systemproblem, inte bara som en arkitekturfråga. Ett stort angivet kontextfönster har störst värde först när modellen fortfarande kan hitta rätt information och generera svar till en användbar kostnad.

AttnRes ska hålla kvar information genom 93 lager

K3:s andra arkitekturdel är Attention Residuals (AttnRes). Modellen har 93 lager, och rapporten använder AttnRes för att låta senare lager hämta komprimerade representationer från tidigare djupblock i stället för att all information strikt måste passera ett lager i taget. 1

Förenklat hanterar KDA informationsflödet över sekvensens längd, medan AttnRes hanterar informationsflödet över modellens djup. Kombinationen är viktig i en djup modell där mycket av stacken använder linjär attention: det räcker inte att ersätta dyr global attention om användbar information samtidigt försvinner eller isoleras på vägen genom nätverket. 1

Stable LatentMoE ger kapacitet som aktiveras vid behov

K3:s MoE-lager uppges ha 896 routade experter, varav 16 väljs per token. 16 Det är mekanismen bakom skillnaden mellan totalt och aktivt parameterantal.

Rapportens metod, Stable LatentMoE, fokuserar på att göra routningen stabil och jämnt fördelad. Den behandlar expertfördelningen på batchnivå som ett optimeringsproblem och introducerar kvantilbaserad balansering. Rapporten härleder ett exakt optimum under sina angivna antaganden. Vid driftsättning används däremot fasta expertbiaser och vanlig top-k-selektion, i stället för att lösa balanseringsproblemet från början för varje inferensbatch. 1

Den skillnaden är viktig. Ett påstått optimalt jämviktsläge gäller rapportens specifika routningsformulering – det är ingen garanti för att varje verklig produktionsbelastning fördelar token helt jämnt mellan experterna.

MoonEP ska göra gles routning möjlig i praktiken

Stora MoE-modeller skapar också ett nätverksproblem. De token som väljs för en expert måste ofta skickas mellan olika beräkningsenheter. Om vissa experter får oproportionerligt stor belastning kan den långsammaste kommunikationsvägen styra fördröjningen.

Moonshot beskriver MoonEP som systemlagret för expertparallell kommunikation. Uppgiften är att minska obalans i de all-to-all-utbyten som gles routning skapar, så att den stora expertpoolen kan tränas och köras effektivt. 1

Det är en central del av K3:s bredare argument. Arkitektur, routning och kommunikation kan inte bedömas som fristående förklaringar till prestanda. Alla tre behövs för att omsätta teoretisk gles kapacitet i faktisk genomströmning.

Den andra axeln: mer beräkning för agentarbete

Den andra halvan av K3:s strategi handlar om vad som sker efter förträningen. Moonshot beskriver infrastruktur för förstärkningsinlärning med långa uppgiftsförlopp, verktygsanvändning, programmering, webbsökning och iterativ problemlösning. Rapporten beskriver också hur flera lärare inom domänkunskap och resonemang destilleras till ett system. 1

Miljön som stöder detta är ett lättviktigt sandlådesystem med virtuella maskiner, utformat för att skapa, spara ögonblicksbilder av och återuppta uppgiftsmiljöer i stor skala. Rapporten anger 51,2 miljoner sandlådeinstanser, 133 ms för ögonblicksbilder och 49 ms för återställning. 1

Det strategiska syftet är tydligt: om en modell ska kunna lägga mer beräkning vid användning på att planera, anropa verktyg, kontrollera sitt arbete eller fortsätta en lång uppgift, behöver träningen också innehålla sådana förlopp. Billigare pausning, förgrening och återställning av miljöer kan göra fler sådana träningskörningar möjliga.

Det innebär inte att varje enskilt svar automatiskt får obegränsad mängd beräkning. Snarare är rapportens tes att systemet kan omvandla ytterligare steg och mer kontext till bättre resultat, i stället för att enbart förlita sig på en större förtränad modell.

Vad BrowseComp-resultatet visar – och inte visar

Kimi K3 uppges nå 91,2 procent på BrowseComp, ett benchmark för långvarigt informationssökande. En extern topplista listar också K3 på 91,2 procent, även om placeringar och rapporteringskonfigurationer kan förändras över tid. 18

Resultatet ligger i linje med produktmålet: en modell som är byggd för lång kontext, agentbaserad efterträning och resonemang vid användning bör prövas på komplexa uppgifter där information måste sökas och sammanställas. Men det är inte ett rent test av varje enskild komponent.

En enda benchmarkpoäng kan inte avgöra hur mycket som kommer från KDA, AttnRes, expertroutning, kommunikationsinfrastruktur, RL-miljöer, destillering, promptning eller inställningar vid inferens. Den starkaste tolkningen är att det rapporterade systemet fungerar väl som en integrerad helhet – inte att en ensam arkitekturinnovation förklarar resultatet. 118

Jämförelsen med DeepSeek är främst arkitektonisk

K3 framställs ofta som en utmanare till andra stora öppna modeller, däribland system från DeepSeek. Det försvarbara i rapporten är dock inte en definitiv ranking av öppna modellers utveckling, utan ett annat designfokus: Moonshot förespråkar en kombination av mycket stor gles kapacitet, effektiv hantering av lång kontext och infrastruktur för agentinriktad efterträning. 117

Artikeln stöder K3:s specifikationer och designval, men den fastslår inte i sig att andra öppna modeller har stannat av eller att K3 har en avgörande arkitekturfördel gentemot en namngiven konkurrent. Sådana marknadspåståenden kräver konsekventa och oberoende reproducerade jämförelser.

Kostnadspåståenden beror på upplägget

Jämförelser av pris per token eller kostnad per slutförd uppgift är särskilt lätta att övertolka. De påverkas av promptning, hur mycket resonemang modellen får använda, kontextlängd, cache, verktygsanrop, antaganden om genomströmning, prisdatum och själva testmiljön.

En publicerad jämförelse i det tillgängliga underlaget uppskattar kostnaden per slutförd uppgift till cirka 0,94 dollar för K3 och 1,04 dollar för GPT-5.6 Sol. Det kan tyda på en mindre fördel i just den konfigurationen, men det belägger inte ett generellt påstående om att K3 kostar hälften så mycket som Sol. 20

Den mer hållbara slutsatsen är mindre dramatisk: K3 är ett försök att göra agentförmåga med lång kontext ekonomiskt trovärdig i en modell med betydligt större total skala. Om fördelen håller i praktiken beror på reproducerbara utvärderingar och kostnadsredovisning för den specifika driftsättningen.

Slutsats

Kimi K3:s tekniska rapport är ett argument för skalning på systemnivå. Skalning före driftsättning kommer från en MoE-modell med 2,8 biljoner parametrar och omkring 104 miljarder aktiva parametrar per token. Skalning efter driftsättning kommer från att träna och köra en modell som kan använda lång kontext, verktyg, resonemangssteg och agentförlopp. 117

KDA, Gated MLA, AttnRes, Stable LatentMoE, MoonEP och infrastrukturen för RL-sandlådor är delar av samma förslag: avancerat agentbeteende kräver inte bara en större modell, utan också en konstruktion som gör mer kontext och mer beräkningsarbete vid användning praktiskt användbara. Benchmarkresultaten är lovande belägg för den integrerade ansatsen, men bör läsas som rapporterade systemresultat – inte som slutgiltigt bevis för varje enskild komponents bidrag. 118

Moonshot AI beskriver Kimi K3 som ett försök att skala AI längs två axlar: dels bygga en betydligt större modell före driftsättning, dels ge den tillräckligt med beräkning vid användning för att resonera, använda verktyg, söka på webben, programmera och rätta misstag. Den avgörande frågan är ekonomisk. En modell kan inte bara göras djupare och mer kapabel om kostnaden för att köra den med lång kontext blir orimlig. K3 är byggd för att öka den totala kapaciteten utan att kostnaden i beräkning och minne per genererad token växer lika mycket. 1

Total kapacitet är inte samma sak som aktiv beräkning

Kimi K3 beskrivs som en inbyggt multimodal Mixture-of-Experts-modell, eller MoE, med 2,8 biljoner parametrar totalt, omkring 104 miljarder aktiverade parametrar per token och ett kontextfönster på upp till en miljon token. 117

Siffrorna mäter olika saker:

• Totalt antal parametrar säger något om hur mycket kapacitet som finns i hela samlingen av experter.
• Aktiva parametrar per token visar hur stor del av modellen som faktiskt används efter routningen för en viss token.

Det är den praktiska poängen med MoE. K3 kan vara mycket större totalt än en tät modell med jämförbar beräkning per token, utan att varje token behöver passera ett tätt nätverk med 2,8 biljoner parametrar. Det gör inte körningen billig – 104 miljarder aktiva parametrar är fortfarande mycket – men undviker kostnaden för att använda hela modellen varje gång. 1

Moonshots argument är alltså inte bara att fler parametrar alltid är bättre. Tanken är att villkorad beräkning kan göra en ny kapacitetsnivå användbar även för uppgifter som tar lång tid att slutföra.

Lång kontext kräver en annan typ av uppmärksamhetsmekanism

Ett kontextfönster på en miljon token är svårt inte bara under träning. Konventionell attention kan också kräva allt mer minne och beräkning när sekvensen blir längre. K3 kombinerar därför Kimi Delta Attention (KDA) med Gated Multi-head Latent Attention (Gated MLA). Den rapporterade ryggraden har 69 KDA-lager och 24 Gated MLA-lager, huvudsakligen i ett mönster med tre KDA-lager följt av ett MLA-lager. 112

KDA för löpande hantering av sekvensen

KDA är modellens komponent för linjär attention. I stället för att behålla en växande traditionell key-value-cache genom hela historiken i varje sådant lager använder den ett återkommande tillstånd med fast storlek. Avsikten är att minnesbehovet och avkodningsarbetet inte ska öka med tidigare kontext på samma sätt som vid full attention. 1

Rapporten beskriver också en nedre gräns för KDA:s avklingningshastighet. Det är inte enbart ett modellval: gränsen hindrar extremt små värden som är olämpliga för effektiv numerisk beräkning och möjliggör en blockindelad implementation lämpad för tensor-kärnor i moderna GPU:er. 1

Gated MLA behåller global återhämtning av information

Enbart linjär återkoppling ger inte nödvändigtvis samma förmåga att selektivt hitta relevant information i hela kontexten som full attention. Därför finns Gated MLA-lager kvar genom nätverket. I hybridlösningen står KDA för billig, kontinuerlig bearbetning medan MLA med jämna mellanrum ger global informationshämtning. 1

Det intressanta är att lång kontext behandlas som ett systemproblem, inte bara som en arkitekturfråga. Ett stort angivet kontextfönster har störst värde först när modellen fortfarande kan hitta rätt information och generera svar till en användbar kostnad.

AttnRes ska hålla kvar information genom 93 lager

K3:s andra arkitekturdel är Attention Residuals (AttnRes). Modellen har 93 lager, och rapporten använder AttnRes för att låta senare lager hämta komprimerade representationer från tidigare djupblock i stället för att all information strikt måste passera ett lager i taget. 1

Förenklat hanterar KDA informationsflödet över sekvensens längd, medan AttnRes hanterar informationsflödet över modellens djup. Kombinationen är viktig i en djup modell där mycket av stacken använder linjär attention: det räcker inte att ersätta dyr global attention om användbar information samtidigt försvinner eller isoleras på vägen genom nätverket. 1

Stable LatentMoE ger kapacitet som aktiveras vid behov

K3:s MoE-lager uppges ha 896 routade experter, varav 16 väljs per token. 16 Det är mekanismen bakom skillnaden mellan totalt och aktivt parameterantal.

Rapportens metod, Stable LatentMoE, fokuserar på att göra routningen stabil och jämnt fördelad. Den behandlar expertfördelningen på batchnivå som ett optimeringsproblem och introducerar kvantilbaserad balansering. Rapporten härleder ett exakt optimum under sina angivna antaganden. Vid driftsättning används däremot fasta expertbiaser och vanlig top-k-selektion, i stället för att lösa balanseringsproblemet från början för varje inferensbatch. 1

Den skillnaden är viktig. Ett påstått optimalt jämviktsläge gäller rapportens specifika routningsformulering – det är ingen garanti för att varje verklig produktionsbelastning fördelar token helt jämnt mellan experterna.

MoonEP ska göra gles routning möjlig i praktiken

Stora MoE-modeller skapar också ett nätverksproblem. De token som väljs för en expert måste ofta skickas mellan olika beräkningsenheter. Om vissa experter får oproportionerligt stor belastning kan den långsammaste kommunikationsvägen styra fördröjningen.

Moonshot beskriver MoonEP som systemlagret för expertparallell kommunikation. Uppgiften är att minska obalans i de all-to-all-utbyten som gles routning skapar, så att den stora expertpoolen kan tränas och köras effektivt. 1

Det är en central del av K3:s bredare argument. Arkitektur, routning och kommunikation kan inte bedömas som fristående förklaringar till prestanda. Alla tre behövs för att omsätta teoretisk gles kapacitet i faktisk genomströmning.

Den andra axeln: mer beräkning för agentarbete

Den andra halvan av K3:s strategi handlar om vad som sker efter förträningen. Moonshot beskriver infrastruktur för förstärkningsinlärning med långa uppgiftsförlopp, verktygsanvändning, programmering, webbsökning och iterativ problemlösning. Rapporten beskriver också hur flera lärare inom domänkunskap och resonemang destilleras till ett system. 1

Miljön som stöder detta är ett lättviktigt sandlådesystem med virtuella maskiner, utformat för att skapa, spara ögonblicksbilder av och återuppta uppgiftsmiljöer i stor skala. Rapporten anger 51,2 miljoner sandlådeinstanser, 133 ms för ögonblicksbilder och 49 ms för återställning. 1

Det strategiska syftet är tydligt: om en modell ska kunna lägga mer beräkning vid användning på att planera, anropa verktyg, kontrollera sitt arbete eller fortsätta en lång uppgift, behöver träningen också innehålla sådana förlopp. Billigare pausning, förgrening och återställning av miljöer kan göra fler sådana träningskörningar möjliga.

Det innebär inte att varje enskilt svar automatiskt får obegränsad mängd beräkning. Snarare är rapportens tes att systemet kan omvandla ytterligare steg och mer kontext till bättre resultat, i stället för att enbart förlita sig på en större förtränad modell.

Vad BrowseComp-resultatet visar – och inte visar

Kimi K3 uppges nå 91,2 procent på BrowseComp, ett benchmark för långvarigt informationssökande. En extern topplista listar också K3 på 91,2 procent, även om placeringar och rapporteringskonfigurationer kan förändras över tid. 18

Resultatet ligger i linje med produktmålet: en modell som är byggd för lång kontext, agentbaserad efterträning och resonemang vid användning bör prövas på komplexa uppgifter där information måste sökas och sammanställas. Men det är inte ett rent test av varje enskild komponent.

En enda benchmarkpoäng kan inte avgöra hur mycket som kommer från KDA, AttnRes, expertroutning, kommunikationsinfrastruktur, RL-miljöer, destillering, promptning eller inställningar vid inferens. Den starkaste tolkningen är att det rapporterade systemet fungerar väl som en integrerad helhet – inte att en ensam arkitekturinnovation förklarar resultatet. 118

Jämförelsen med DeepSeek är främst arkitektonisk

K3 framställs ofta som en utmanare till andra stora öppna modeller, däribland system från DeepSeek. Det försvarbara i rapporten är dock inte en definitiv ranking av öppna modellers utveckling, utan ett annat designfokus: Moonshot förespråkar en kombination av mycket stor gles kapacitet, effektiv hantering av lång kontext och infrastruktur för agentinriktad efterträning. 117

Artikeln stöder K3:s specifikationer och designval, men den fastslår inte i sig att andra öppna modeller har stannat av eller att K3 har en avgörande arkitekturfördel gentemot en namngiven konkurrent. Sådana marknadspåståenden kräver konsekventa och oberoende reproducerade jämförelser.

Kostnadspåståenden beror på upplägget

Jämförelser av pris per token eller kostnad per slutförd uppgift är särskilt lätta att övertolka. De påverkas av promptning, hur mycket resonemang modellen får använda, kontextlängd, cache, verktygsanrop, antaganden om genomströmning, prisdatum och själva testmiljön.

En publicerad jämförelse i det tillgängliga underlaget uppskattar kostnaden per slutförd uppgift till cirka 0,94 dollar för K3 och 1,04 dollar för GPT-5.6 Sol. Det kan tyda på en mindre fördel i just den konfigurationen, men det belägger inte ett generellt påstående om att K3 kostar hälften så mycket som Sol. 20

Den mer hållbara slutsatsen är mindre dramatisk: K3 är ett försök att göra agentförmåga med lång kontext ekonomiskt trovärdig i en modell med betydligt större total skala. Om fördelen håller i praktiken beror på reproducerbara utvärderingar och kostnadsredovisning för den specifika driftsättningen.

Slutsats

Kimi K3:s tekniska rapport är ett argument för skalning på systemnivå. Skalning före driftsättning kommer från en MoE-modell med 2,8 biljoner parametrar och omkring 104 miljarder aktiva parametrar per token. Skalning efter driftsättning kommer från att träna och köra en modell som kan använda lång kontext, verktyg, resonemangssteg och agentförlopp. 117

KDA, Gated MLA, AttnRes, Stable LatentMoE, MoonEP och infrastrukturen för RL-sandlådor är delar av samma förslag: avancerat agentbeteende kräver inte bara en större modell, utan också en konstruktion som gör mer kontext och mer beräkningsarbete vid användning praktiskt användbara. Benchmarkresultaten är lovande belägg för den integrerade ansatsen, men bör läsas som rapporterade systemresultat – inte som slutgiltigt bevis för varje enskild komponents bidrag. 118