Kimi K3: dlaczego sama skala modelu już nie wystarcza

Moonshot AI przedstawia w raporcie Kimi K3 tezę, że postęp na granicy możliwości AI zależy od skalowania dwóch uzupełniających się zasobów. Pierwszym jest pojemność modelu budowana przed wdrożeniem — parametry i wiedza nabyte w treningu. Drugim są obliczenia zużywane już po wdrożeniu: długie rozumowanie, korzystanie z narzędzi, planowanie, przeglądanie sieci, pisanie kodu i korygowanie własnych działań.

Architektura K3 ma obniżać koszt obu tych elementów. Model typu MoE (Mixture of Experts, mieszanka ekspertów) może przechowywać możliwości w bardzo dużej liczbie parametrów, lecz przy pojedynczym tokenie uruchamia tylko część z nich. Równocześnie system treningu i post-treningu ma uczyć model wykorzystywania większego budżetu obliczeń w trakcie działania. 1

Skala: 2,78 bln parametrów, ale 104,2 mld aktywnych na token

K3 jest opisywany jako natywnie multimodalny model MoE z 2,78 bln parametrów ogółem, z czego przy każdym tokenie aktywuje 104,2 mld parametrów. Deklarowany maksymalny kontekst wynosi 1 mln tokenów. 1

To kluczowe rozróżnienie: 2,78 bln oznacza całkowitą pojemność modelu, a nie koszt obliczeniowy każdego generowanego tokenu. Według Moonshot AI MoE ma pozwolić zwiększać zasób możliwości modelu bez konieczności płacenia przy inferencji kosztu porównywalnego z gęstym modelem o 2,78 bln parametrów. 1

Kontekst do miliona tokenów — nie do 100 tys.

Raport mówi o natywnej ekstrapolacji do 1 mln tokenów, nie do 100 tys. Początkowo K3 trenowano na sekwencjach 8 tys. tokenów, a później 64 tys. tokenów. Model nie używa jawnych osadzeń pozycyjnych; autorzy argumentują, że bramki rekurencyjne i mechanizm zaniku w KDA wystarczają do kodowania pozycji oraz ekstrapolacji bez modyfikacji RoPE. 1

Dla użytkownika ma to znaczenie zwłaszcza w zadaniach, w których agent musi utrzymać długą historię: analizować rozległą dokumentację, wiele wyników wyszukiwania, logi, repozytorium kodu albo wieloetapowy tok pracy.

KDA i Gated MLA: długi kontekst bez pełnego kosztu uwagi globalnej

Kimi Delta Attention (KDA) zastępuje znaczną część kwadratowej uwagi mechanizmem o stanie rekurencyjnym o stałym rozmiarze. W konsekwencji stan na token i koszt dekodowania nie powinny rosnąć wraz z długością wcześniejszego kontekstu tak, jak w pełnym cache’u KV.

Moonshot AI przeplata trzy warstwy KDA z jedną warstwą Gated MLA. KDA ma zapewniać tańsze, trwałe przetwarzanie sekwencji, a MLA — selektywne odzyskiwanie informacji w skali globalnej. 1 Raport wskazuje też, że dolne ograniczenie współczynnika zaniku KDA jest rozwiązaniem implementacyjnym: ma zapobiegać numerycznie kłopotliwym bardzo małym wartościom i umożliwiać blokowe obliczenia przyjazne rdzeniom tensorowym, a nie być wyłącznie zmianą modelową. 1

AttnRes i MoE: przepływ informacji oraz warunkowa pojemność

Sieć K3 ma 93 warstwy. Mechanizm Attention Residuals (AttnRes) ma zapobiegać izolowaniu informacji w bardzo głębokiej architekturze, w której przeważa tańsza uwaga liniowa. Późniejsze warstwy mogą odzyskiwać skompresowane reprezentacje z wcześniejszych bloków głębokości, zamiast polegać wyłącznie na przekazywaniu informacji warstwa po warstwie. Według autorów pozwala to zachować jakość przy zastępowaniu dużej części kosztownej uwagi globalnej przez KDA. 1

Po stronie MoE K3 korzysta z 896 ekspertów i routingu top-16, co zwiększa warunkową pojemność modelu. Metoda quantile-balancing ujmuje routing jako problem zrównoważonego przydziału i wyprowadza dokładne optimum przy założeniach dotyczących całej partii. W trakcie wdrożenia router nie uruchamia jednak tego solvera: stosuje stałe przesunięcia dla ekspertów oraz zwykły wybór top-k. 1

To ważne zastrzeżenie: „idealna równowaga” odnosi się do opisanego problemu optymalizacyjnego, a nie stanowi gwarancji idealnego rozkładu obciążenia w każdej rzeczywistej partii zapytań.

Komunikacja między ekspertami także jest częścią ekonomiki tego projektu. MoonEP ma równoważyć komunikację all-to-all wywołaną nierównym popytem na ekspertów, tak aby opóźnienia sieciowe nie zdominowały pracy dużego MoE. 1 Zyski architektury i zyski infrastrukturalne należy więc traktować jako elementy jednego systemu, a nie niezależne wyjaśnienia wyników benchmarkowych.

Druga połowa tezy: więcej obliczeń po wdrożeniu

Najważniejsza strategicznie część raportu dotyczy post-treningu i inferencji. Lekka flota sandboxów opartych na maszynach wirtualnych ma umożliwiać tworzenie wielu długich, weryfikowalnych trajektorii uczenia ze wzmocnieniem. Snapshoty mają pozwalać tanio wznawiać lub rozgałęziać takie trajektorie. 1

To tworzy podstawę dla modeli, które wykorzystują dodatkowe kroki w czasie testu: planują, przeglądają informacje, piszą i uruchamiają kod, wywołują narzędzia oraz poprawiają wcześniejsze działania. Zamiast oczekiwać, że większy, ale statyczny model po pretreningu sam rozwiąże całe zadanie w jednym przebiegu, Moonshot AI chce rozwijać zdolność do dłuższej pracy agentowej.

Raport opisuje również destylację wielu nauczycieli wyspecjalizowanych w różnych dziedzinach i rozumowaniu do jednego systemu. Celem ma być przeniesienie wyspecjalizowanych zachowań bez konieczności obsługi dziewięciu osobnych modeli. 1

Co mówi wynik 91,2% w BrowseComp — i czego nie mówi

Wynik 91,2% w BrowseComp, widoczny na zewnętrznej tabeli wyników, wspierałby tezę, że K3 jest mocny w długich zadaniach agentowych polegających na wyszukiwaniu i syntezie informacji. 4

Nie pozwala jednak oddzielić wpływu poszczególnych elementów: KDA, AttnRes, routingu MoE, środowisk RL, destylacji czy większego budżetu obliczeń podczas działania. To wynik całego systemu, a nie izolowany dowód przewagi jednej techniki.

Ostrożnie z porównaniami cen

Nie udało się potwierdzić w raporcie technicznym ani w niezależnym źródle o wysokim autorytecie precyzyjnych twierdzeń, że K3 kosztuje „połowę ceny GPT-5.6 Sol” albo że jego wynik w Kimi Code Bench jest dokładnie o cztery punkty niższy od „Claude Fable 5” przy 38% kosztu.

Jedno z przywołanych porównań podaje szacowany koszt ukończonego zadania na poziomie około 0,94 USD dla K3 i 1,04 USD dla GPT-5.6 Sol — to nie sugeruje różnicy rzędu 50%. 8 Takie kalkulacje są zależne od konfiguracji, promptów, daty cennika oraz pełnej metodologii rozliczania kosztów.

Najbardziej uzasadniony wniosek z raportu jest więc architektoniczny, nie marketingowo-cenowy: Moonshot AI argumentuje, że modele o otwartych wagach potrzebują nowego połączenia projektowania modelu i systemów, aby przekroczyć barierę biliona parametrów oraz przełożyć długi kontekst i agentową inferencję na praktyczne możliwości. Sam raport nie ustanawia natomiast tezy, że inne otwarte modele utknęły w pobliżu 1 bln parametrów ani nie dowodzi konkretnych porównań z „DeepSeek V4 Pro” na podstawie dostępnych tu danych.