Kimi K3: la scommessa di Moonshot AI su scala e calcolo al momento dell’uso

Moonshot AI presenta Kimi K3 come una scommessa su due forme di scaling: un modello molto più grande prima della distribuzione e più calcolo durante l’uso, quando il sistema deve ragionare, usare strumenti, navigare sul web, scrivere codice e correggere i propri errori.

Il nodo è economico. Aumentare dimensione e profondità di un modello non basta se servire contesti lunghi diventa troppo costoso. L’architettura di K3 mira quindi ad aumentare la capacità complessiva, limitando al tempo stesso calcolo e memoria necessari per ciascun token generato. 1

2,8 trilioni non significa che siano tutti attivi

Kimi K3 è descritto come un modello multimodale nativo di tipo Mixture-of-Experts (MoE), con 2,8 trilioni di parametri totali, circa 104 miliardi di parametri attivati per token e una finestra di contesto fino a un milione di token. 117

I due numeri misurano cose diverse:

• i parametri totali indicano la capacità disponibile nell’insieme degli esperti;
• i parametri attivati per token indicano la quota effettivamente usata dopo il routing di quel token.

È il vantaggio pratico del MoE: K3 può avere una capacità aggregata molto superiore a quella di un modello denso con un carico per token simile, senza dover eseguire tutti i 2,8 trilioni di parametri a ogni passaggio. Non è comunque un’inferenza leggera — 104 miliardi di parametri attivi restano una scala notevole — ma il costo non coincide con quello di una rete densa da 2,8 trilioni. 1

Un milione di token richiede un’attenzione diversa

Con contesti estremamente lunghi, l’attenzione convenzionale fa crescere memoria e calcolo con la sequenza. K3 usa perciò un’architettura ibrida che combina Kimi Delta Attention (KDA) e Gated Multi-head Latent Attention (Gated MLA): 69 livelli KDA e 24 Gated MLA, prevalentemente secondo lo schema di tre livelli KDA per uno MLA. 112

KDA è la componente di attenzione lineare. Al posto di una cache chiave-valore convenzionale che cresce lungo tutta la cronologia in ogni livello interessato, usa uno stato ricorrente di dimensione fissa. L’obiettivo è evitare che lo stato in memoria e il lavoro di decodifica aumentino con il contesto precedente nello stesso modo dell’attenzione completa. 1

Il report indica inoltre un limite inferiore al tasso di decadimento di KDA: serve a evitare valori estremamente piccoli, problematici per il calcolo numerico efficiente, e a consentire un’implementazione a blocchi adatta ai tensor core delle GPU. 1

I livelli Gated MLA mantengono invece una capacità di recupero globale selettivo. L’idea è dividere i compiti: KDA gestisce in modo più economico l’elaborazione persistente della sequenza, mentre MLA reintroduce periodicamente la ricerca di informazioni nell’intero contesto. 1

AttnRes e MoE: far circolare l’informazione, distribuire la capacità

K3 conta 93 livelli e usa Attention Residuals (AttnRes) per permettere ai livelli più avanzati di recuperare rappresentazioni compresse provenienti da blocchi precedenti, anziché obbligare tutta l’informazione a passare strettamente da un livello al successivo. 1

In sintesi, KDA interviene sul flusso informativo lungo la sequenza, mentre AttnRes interviene sul flusso lungo la profondità della rete. È un aspetto rilevante per un modello profondo in cui una larga parte dello stack usa attenzione lineare. 1

Sul fronte della capacità condizionale, il MoE di K3 impiega 896 esperti instradati, selezionandone 16 per token. 16 Il sistema Stable LatentMoE punta a rendere questo routing stabile e bilanciato: il report lo formula come un problema di ottimizzazione dell’assegnazione degli esperti e propone un bilanciamento basato sui quantili.

C’è però una distinzione importante. L’ottimo teorico riportato vale per le ipotesi del problema di routing descritto; in produzione, l’inferenza usa bias fissi sugli esperti e una normale selezione top-k, non risolve da zero l’ottimizzazione per ogni batch. Non equivale quindi a una garanzia di perfetto equilibrio per ogni carico di lavoro reale. 1

A questo si affianca MoonEP, il livello di comunicazione per il parallelismo degli esperti. In un MoE grande, i token devono spesso attraversare più dispositivi per raggiungere gli esperti selezionati; se alcuni esperti ricevono più richieste, il percorso più lento può dettare la latenza. MoonEP è pensato per attenuare questi squilibri nelle comunicazioni all-to-all. 1

La seconda leva: più lavoro al momento del test

L’altro asse della strategia riguarda ciò che avviene dopo il pre-addestramento. Moonshot descrive infrastrutture per traiettorie di reinforcement learning su compiti di lunga durata che includono strumenti, programmazione, navigazione e problem solving iterativo, oltre alla distillazione di più insegnanti specializzati in domini e ragionamento in un unico sistema. 1

L’ambiente di supporto è un sistema di sandbox basato su macchine virtuali leggere, pensato per creare, salvare e riprendere ambienti di lavoro in massa. Le cifre riportate parlano di 51,2 milioni di istanze sandbox, snapshot in 133 ms e ripristini in 49 ms. 1

Il significato strategico è chiaro: se un modello deve impiegare più passaggi per pianificare, chiamare strumenti, verificare il proprio lavoro o proseguire un compito complesso, l’addestramento deve esporlo a traiettorie di questo tipo. Non significa che ogni risposta usi calcolo illimitato; significa che il sistema è progettato per trasformare più passaggi e più contesto in una migliore esecuzione dei compiti.

BrowseComp: un segnale, non un’analisi causale

Kimi K3 è riportato al 91,2% su BrowseComp, benchmark dedicato alla ricerca di informazioni su orizzonti lunghi. Un leaderboard di terze parti riporta lo stesso punteggio, pur ricordando implicitamente che classifiche e configurazioni possono cambiare nel tempo. 18

Il risultato è coerente con l’obiettivo del prodotto: un modello pensato per contesto lungo, addestramento agentico e ragionamento in inferenza dovrebbe essere valutato su compiti di ricerca complessi. Ma un singolo punteggio non isola il contributo di KDA, AttnRes, routing MoE, infrastruttura di comunicazione, ambienti RL, distillazione, prompting o impostazioni di inferenza.

La lettura più solida è quindi questa: il sistema integrato mostra prestazioni riportate molto alte; non è la prova definitiva che una sola innovazione architetturale sia responsabile del risultato. 118

Sui costi serve prudenza

I confronti di costo per token o per attività completata dipendono da prompt, lunghezza del contesto, caching, uso di strumenti, sforzo di ragionamento, throughput, data dei prezzi e protocollo di valutazione.

Un confronto pubblicato nella documentazione disponibile stima un costo per attività completata di circa 0,94 dollari per K3 e 1,04 dollari per GPT-5.6 Sol. È un possibile vantaggio in quella configurazione, ma non dimostra una regola generale secondo cui K3 costerebbe la metà. 20

In breve

Il report tecnico di Kimi K3 propone una tesi full-stack: scala prima del rilascio grazie a un MoE da 2,8 trilioni di parametri con circa 104 miliardi attivati per token; scala durante l’uso attraverso contesto lungo, ragionamento, strumenti e traiettorie agentiche. 117

KDA, Gated MLA, AttnRes, Stable LatentMoE, MoonEP e l’infrastruttura RL sono tasselli della stessa proposta: per rendere credibili capacità agentiche avanzate non basta un modello più grande, occorre un sistema che renda utilizzabili — e sostenibili — più contesto e più lavoro in inferenza. 1