AnswersPublished16 sources
Kimi K3 zet in op twee soorten schaalvergroting
Kimi K3 koppelt twee hefbomen: veel meer modelcapaciteit vóór inzet en meer rekentijd tijdens inzet voor redeneren, browsen, programmeren en toolgebruik. De MoE opzet bevat 2,8 biljoen parameters, maar activeert per token circa 104 miljard parameters.
Gepubliceerd doorBewerkt met GPT-5.6 TerraAfbeeldingen gegenereerd met GPT Image 2
Research answer
Key takeaways
- Kimi K3 koppelt twee hefbomen: veel meer modelcapaciteit vóór inzet en meer rekentijd tijdens inzet voor redeneren, browsen, programmeren en toolgebruik.
- De MoE opzet bevat 2,8 biljoen parameters, maar activeert per token circa 104 miljard parameters.
- De gemelde BrowseComp score van 91,2% is sterk bewijs voor het geïntegreerde systeem, maar laat niet zien welk afzonderlijk onderdeel — aandachtmechanisme, routing of RL infrastructuur — de winst veroorzaakt.
- Een gepubliceerde vergelijking schat de kosten per afgeronde taak op ongeveer $0,94 voor K3 en $1,04 voor GPT 5.6 Sol; dat onderbouwt geen algemene claim dat K3 de helft kost.
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: How does Moonshot AI’s 47-page Kimi K3 technical report argue that AI progress depends on scaling both pre-deployment model size and post-de. Article summary: K3’s core argument is that frontier progress requires scaling two complementary resources: model capacity before deployment, and the compute spent after deployment on long reasoning, tool use, and agentic rollouts. Its a. Topic tags: general, academic, general web, user generated. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, char
Moonshot AI presenteert Kimi K3 als een inzet op twee assen van schaalvergroting. De eerste is groter worden vóór de uitrol: meer modelcapaciteit. De tweede is meer computationele inzet ná de uitrol: het model tijd en rekenkracht geven om te redeneren, tools te gebruiken, te browsen, code te schrijven en fouten te herstellen.
De economische vraag is daarbij doorslaggevend. Een model kan niet onbeperkt groter en dieper worden als lange contexten en uitgebreide inferentie het in de praktijk te duur maken. K3 is ontworpen om de totale capaciteit fors op te schalen, terwijl de geheugen- en rekenlast per gegenereerde token begrensd blijft. 1
2,8 biljoen parameters is niet hetzelfde als 104 miljard actieve parameters
Kimi K3 is een native multimodale Mixture-of-Experts-modelarchitectuur (MoE) met 2,8 biljoen totale parameters, ongeveer 104 miljard geactiveerde parameters per token en een contextvenster van maximaal één miljoen tokens. 1
17
Die twee aantallen meten iets anders:
- Totale parameters: de gezamenlijke capaciteit van alle gespecialiseerde experts in het model.
- Actieve parameters per token: het deel dat voor een specifiek token na routing daadwerkelijk wordt gebruikt.
Dat is de praktische aantrekkingskracht van MoE. K3 kan in totaal veel groter zijn dan een dense architectuur met een vergelijkbare rekendruk per token. Inference is daarmee niet goedkoop — 104 miljard actieve parameters blijft enorm — maar het model hoeft niet bij elk token de volledige kosten van een dicht 2,8T-model te betalen. 1
Moonshots stelling is dus niet simpelweg dat méér parameters altijd beter zijn. De kern is dat voorwaardelijke berekening een veel grotere modelcapaciteit bruikbaar kan maken voor langdurige, complexe taken.
Lange context vraagt om een andere aandachtarchitectuur
Een context van een miljoen tokens is niet alleen een trainingsuitdaging. Bij conventionele aandachtmechanismen kunnen geheugenverbruik en berekeningen sterk oplopen naarmate de reeks langer wordt. K3 combineert daarom Kimi Delta Attention (KDA) met Gated Multi-head Latent Attention (Gated MLA). De gerapporteerde ruggengraat telt 69 KDA-lagen en 24 Gated-MLA-lagen, grotendeels in een patroon van drie KDA-lagen gevolgd door één MLA-laag. 1
12
KDA verwerkt de reeks met een vaste toestand
KDA is de lineaire-attentiecomponent van het model. In plaats van in elke laag een conventionele key-value-cache mee te laten groeien met de volledige voorgeschiedenis, gebruikt KDA een recurrente toestand van vaste grootte. Het beoogde voordeel: de geheugentoestand en decodeerlast groeien niet op dezelfde manier mee met de eerdere context als bij volledige aandacht. 1
Het rapport beschrijft ook een ondergrens voor de vervalsnelheid van KDA. Dat is niet uitsluitend een keuze voor de modellering: extreem kleine vervalwaarden zijn ongunstig voor efficiënte numerieke berekeningen. De ondergrens maakt een geblokkeerde implementatie mogelijk die geschikt is voor tensor cores, gespecialiseerde rekeneenheden op GPU's. 1
Gated MLA behoudt globale informatieopvraging
Een lineaire recurrentie biedt niet per se hetzelfde vermogen om gericht iets uit een volledige, lange context terug te halen als klassieke aandacht. Daarom blijven Gated-MLA-lagen in het hele netwerk aanwezig. In deze hybride opzet verzorgt KDA goedkope, voortdurende verwerking van de reeks, terwijl MLA periodiek globale informatie kan ophalen. 1
De opvallende gedachte hierachter: een groot contextvenster is niet alleen een architectuurclaim, maar ook een systeemclaim. Het is pas echt nuttig als het model relevante informatie kan terugvinden en tegen werkbare kosten kan blijven genereren.
AttnRes moet informatie door 93 lagen heen behouden
Een tweede bouwsteen is Attention Residuals (AttnRes). K3 telt 93 lagen. AttnRes moet latere lagen in staat stellen gecomprimeerde representaties uit eerdere diepteblokken op te halen, in plaats van alle informatie strikt laag voor laag door de hele stapel te laten gaan. 1
In grote lijnen richt KDA zich op informatiestroom over de lengte van de reeks, terwijl AttnRes zich richt op informatiestroom over de diepte van het netwerk. Die combinatie is relevant voor een diep model waarin veel lagen lineaire aandacht gebruiken: het vervangen van dure globale aandacht helpt alleen als bruikbare informatie onderweg niet verloren gaat of geïsoleerd raakt. 1
Stable LatentMoE levert de voorwaardelijke capaciteit
De MoE-laag van K3 gebruikt volgens het rapport 896 gerouteerde experts, waarvan 16 experts per token worden geselecteerd. 1
6 Dat verklaart het grote verschil tussen de totale en actieve parameteromvang.
De aanpak met Stable LatentMoE is gericht op stabiele en evenwichtige routing. Het rapport formuleert de verdeling van tokens over experts op batchniveau als een optimalisatieprobleem en introduceert kwantielgebaseerde balans. Onder de genoemde aannames leidt dat tot een exact optimum. Tijdens inzet wordt die optimalisatie echter niet voor elke inferentiebatch opnieuw opgelost: de router gebruikt vaste expertbiases met gewone top-k-selectie. 1
Dat onderscheid is belangrijk. Een bewezen optimaal evenwicht geldt voor de routingformulering in het rapport, niet als garantie dat iedere echte productiewerklast tokens perfect gelijkmatig over experts verdeelt.
MoonEP moet sparse routing ook praktisch maken
Grote MoE-modellen hebben een netwerkprobleem: geselecteerde tokens moeten vaak tussen apparaten worden verstuurd om de toegewezen experts te bereiken. Wanneer sommige experts veel meer vraag krijgen dan andere, kan het traagste communicatiepad de responstijd bepalen.
Moonshot positioneert MoonEP als de systeemlaag voor expert-parallelle communicatie. Die moet onbalans verminderen in de all-to-all-uitwisselingen die sparse routing veroorzaakt, zodat de grote expertpool trainbaar en inzetbaar blijft. 1
Dat is essentieel voor de bredere K3-claim. Architectuur, routing en communicatie zijn geen losstaande verklaringen voor prestaties: ze moeten samen theoretische sparse capaciteit omzetten in werkelijke doorvoer.
De tweede as: extra rekentijd voor agenttaken
De andere helft van K3's strategie begint na pretraining. Moonshot beschrijft infrastructuur voor reinforcement-learningtrajecten rond langlopende taken, tools, programmeren, browsen en iteratief probleemoplossen. Het rapport beschrijft bovendien het distilleren van meerdere domein- en redeneerleraren naar één systeem. 1
De ondersteunende omgeving is een lichtgewicht sandboxsysteem op basis van virtuele machines, bedoeld om taakomgevingen op grote schaal te creëren, vast te leggen en te hervatten. De gerapporteerde cijfers zijn 51,2 miljoen sandboxinstanties, snapshots in 133 ms en herstel in 49 ms. 1
De strategische gedachte is helder: als een model tijdens gebruik meer stappen moet kunnen besteden aan plannen, tools aanroepen, werk controleren of een lange taak voortzetten, dan moet de training zulke trajecten ook omvatten. Omgevingen goedkoop pauzeren, vertakken en herstellen maakt meer van zulke trainingsroll-outs haalbaar.
Dit betekent niet dat elk antwoord onbeperkt inferentiebudget krijgt. Wel beargumenteert K3 dat een systeem extra stappen en context kan omzetten in betere taakprestaties, in plaats van uitsluitend te leunen op een groter vooraf getraind model.
Wat de BrowseComp-score wel en niet bewijst
Kimi K3 staat gerapporteerd op 91,2% bij BrowseComp, een benchmark voor langdurig informatie zoeken. Een externe ranglijst vermeldt eveneens 91,2%, al kunnen ranglijsten en evaluatieconfiguraties in de tijd veranderen. 18
Die score past bij het productdoel: een model dat is gebouwd voor lange contexten, agentgerichte post-training en redeneren tijdens inferentie, hoort goed te presteren op complexe informatiezoekende taken. Maar het is geen zuivere test van de afzonderlijke onderdelen.
Eén benchmarkscores vertelt niet hoeveel van het resultaat komt door KDA, AttnRes, expertrouting, communicatie-infrastructuur, RL-omgevingen, distillatie, prompting of inferentie-instellingen. De sterkste lezing is daarom dat het gerapporteerde geïntegreerde systeem goed presteert — niet dat één architectuurvernieuwing de score alleen verklaart. 1
18
Kostenvergelijkingen blijven afhankelijk van de opzet
Kosten per token en kosten per afgeronde taak zijn gemakkelijk te sterk te interpreteren. Ze verschillen met promptopbouw, redeneerinspanning, contextlengte, caching, toolgebruik, doorvoer, prijsdatum en de gebruikte evaluatieharnas.
Een gepubliceerde vergelijking uit het beschikbare materiaal schat de kosten per afgeronde taak op ongeveer $0,94 voor K3 en $1,04 voor GPT-5.6 Sol. Dat kan in die specifieke opzet op een bescheiden voordeel wijzen, maar onderbouwt geen algemene uitspraak dat K3 de helft van Sol zou kosten. 20
De bruikbare conclusie is minder spectaculair, maar robuuster: K3 is een poging om lange context en agentachtig gedrag economisch geloofwaardig te maken op een veel grotere totale modelschaal. Of dat voordeel in de praktijk standhoudt, hangt af van reproduceerbare evaluaties en kostencijfers die passen bij een concrete inzetomgeving.
Conclusie
Het technische rapport van Kimi K3 is een argument voor schaalvergroting van de hele keten. Schaal vóór inzet komt van een MoE-model met 2,8 biljoen parameters en ongeveer 104 miljard actieve parameters per token. Schaal tijdens inzet komt van een model dat lange context, tools, redeneerstappen en agentische roll-outs kan benutten. 1
17
KDA, Gated MLA, AttnRes, Stable LatentMoE, MoonEP en de RL-sandboxinfrastructuur zijn onderdelen van één propositie: AI van topniveau voor agenttaken vraagt niet alleen om een groter model, maar ook om een ontwerp dat meer context en meer rekenwerk tijdens inferentie bruikbaar maakt. De benchmarkresultaten zijn veelbelovend bewijs voor die geïntegreerde benadering, maar nog geen definitief bewijs voor de afzonderlijke bijdrage van elk onderdeel. 1
18
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "Kimi K3 zet in op twee soorten schaalvergroting"?
Kimi K3 koppelt twee hefbomen: veel meer modelcapaciteit vóór inzet en meer rekentijd tijdens inzet voor redeneren, browsen, programmeren en toolgebruik.
What are the key points to validate first?
Kimi K3 koppelt twee hefbomen: veel meer modelcapaciteit vóór inzet en meer rekentijd tijdens inzet voor redeneren, browsen, programmeren en toolgebruik. De MoE opzet bevat 2,8 biljoen parameters, maar activeert per token circa 104 miljard parameters.
What should I do next in practice?
De gemelde BrowseComp score van 91,2% is sterk bewijs voor het geïntegreerde systeem, maar laat niet zien welk afzonderlijk onderdeel — aandachtmechanisme, routing of RL infrastructuur — de winst veroorzaakt.