Kimi K3: większy model to za mało — liczy się też moc obliczeniowa po wdrożeniu

Moonshot AI przedstawia Kimi K3 jako argument za skalowaniem na dwóch osiach. Pierwsza to budowa znacznie większego modelu przed wdrożeniem. Druga to zapewnienie mu po wdrożeniu dostatecznej mocy obliczeniowej, by mógł rozumować etapami, korzystać z narzędzi, przeszukiwać sieć, programować i korygować własne błędy.

Sednem problemu jest ekonomia. Samo zwiększanie liczby warstw i parametrów nie wystarczy, jeśli obsługa długiego kontekstu jest tak kosztowna, że praktyczne użycie tych możliwości staje się nieopłacalne. Projekt K3 ma zwiększać całkowitą pojemność modelu, a równocześnie ograniczać ilość obliczeń i pamięci potrzebnych do wygenerowania pojedynczego tokenu. 1

2,8 bln parametrów nie znaczy, że wszystkie pracują naraz

Kimi K3 to natywnie multimodalny model typu mixture-of-experts (MoE), czyli „mieszanina ekspertów”. Według Moonshot AI ma 2,8 bln parametrów łącznie, około 104 mld aktywowanych parametrów na token i okno kontekstowe sięgające 1 mln tokenów. 117

Te dwie liczby parametrów opisują różne rzeczy:

• Łączna liczba parametrów mówi o pojemności całej puli ekspertów w modelu.
• Liczba aktywowana na token określa, jaka część tej puli zostaje wybrana przez mechanizm routingu dla danego fragmentu tekstu lub danych wejściowych.

To podstawowa zaleta MoE. K3 może mieć znacznie większą pojemność niż model gęsty o podobnym koszcie obliczeniowym na token, ponieważ nie uruchamia całej sieci o skali 2,8 bln parametrów za każdym razem. Nie oznacza to taniego wnioskowania — 104 mld aktywnych parametrów nadal jest bardzo dużą wartością — ale pozwala uniknąć kosztu pełnego, gęstego modelu 2,8T dla każdego tokenu. 1

Teza Moonshot AI nie brzmi zatem po prostu: „więcej parametrów jest lepsze”. Chodzi o to, że obliczenia warunkowe — uruchamianie tylko wybranych ekspertów — mogą uczynić bardzo dużą pojemność modelu użyteczną również w długich, wieloetapowych zadaniach.

Milion tokenów wymaga innego podejścia do uwagi

Kontekst liczący milion tokenów jest trudny nie tylko na etapie treningu. W klasycznych mechanizmach uwagi wraz z długością sekwencji rosną wymagania dotyczące pamięci i obliczeń. K3 stosuje architekturę hybrydową: łączy Kimi Delta Attention (KDA) z Gated Multi-head Latent Attention (Gated MLA). Zgłoszona konfiguracja obejmuje 69 warstw KDA i 24 warstwy Gated MLA, zasadniczo w rytmie trzech warstw KDA na jedną warstwę MLA. 112

KDA: przetwarzanie sekwencji ze stałym stanem

KDA jest liniowym komponentem mechanizmu uwagi. Zamiast przechowywać w każdej takiej warstwie klasyczny, rosnący wraz z historią cache kluczy i wartości, korzysta ze stanu rekurencyjnego o stałym rozmiarze. Zamierzoną korzyścią jest to, że stan pamięci i koszt dekodowania nie rosną wraz z długością wcześniejszego kontekstu w taki sposób jak w pełnej uwadze. 1

Raport opisuje też dolne ograniczenie tempa zaniku w KDA. Nie jest to wyłącznie detal modelowania: ograniczenie ma zapobiegać skrajnie małym wartościom zaniku, które są kłopotliwe numerycznie, i umożliwiać blokową implementację przystosowaną do wykonywania na rdzeniach tensorowych GPU. 1

Gated MLA: okresowy dostęp do całego kontekstu

Sama liniowa rekurencja może nie zapewniać takiego samego selektywnego wyszukiwania informacji w pełnym kontekście jak klasyczna uwaga. Dlatego K3 zachowuje warstwy Gated MLA w całej sieci. W tej hybrydzie KDA ma odpowiadać za relatywnie tanią, trwałą obsługę sekwencji, a MLA — za okresowe globalne pobieranie istotnych informacji. 1

To ważne, bo długi kontekst nie jest wyłącznie sprawą marketingowej liczby tokenów. Ma znaczenie wtedy, gdy model nadal potrafi odnaleźć właściwe informacje i wygenerować odpowiedź przy koszcie oraz opóźnieniu akceptowalnym w praktyce.

AttnRes ma chronić informacje w sieci o 93 warstwach

Drugim istotnym elementem architektury jest Attention Residuals (AttnRes). K3 ma 93 warstwy, a AttnRes ma pozwalać późniejszym warstwom pobierać skompresowane reprezentacje z wcześniejszych bloków głębokości, zamiast zmuszać każdą informację do przechodzenia ściśle warstwa po warstwie. 1

W uproszczeniu: KDA usprawnia przepływ informacji wzdłuż sekwencji, a AttnRes — przepływ informacji w głąb sieci. To istotne w bardzo głębokim modelu, w którym znaczna część stosu korzysta z liniowej uwagi. Zastąpienie kosztownej globalnej uwagi ma sens tylko wtedy, gdy użyteczne informacje nie zanikają ani nie zostają odizolowane w trakcie przechodzenia przez kolejne aktywacje. 1

Stable LatentMoE zwiększa pojemność warunkową

Warstwa MoE w K3 wykorzystuje według raportu 896 ekspertów routowanych, z których dla każdego tokenu wybieranych jest 16. 16 To właśnie ten mechanizm wyjaśnia dużą różnicę między liczbą parametrów całkowitych i aktywnych.

Podejście nazwane Stable LatentMoE koncentruje się na stabilnym i równomiernym kierowaniu tokenów do ekspertów. W raporcie przydział ekspertów na poziomie batcha opisano jako problem optymalizacyjny, a do równoważenia wykorzystano metodę opartą na kwantylach. Autorzy wyprowadzają dokładne optimum przy przyjętych założeniach. W środowisku produkcyjnym routing korzysta jednak ze stałych biasów ekspertów i zwykłego wyboru top-k, a nie z rozwiązywania od nowa problemu równoważenia dla każdej partii wnioskowania. 1

To ważne zastrzeżenie. Deklarowane optymalne równoważenie jest wynikiem dla określonego sformułowania problemu routingu, a nie gwarancją, że w każdym rzeczywistym obciążeniu tokeny będą perfekcyjnie rozłożone między ekspertów.

MoonEP: bez wydajnej komunikacji duży MoE nie wystarczy

Bardzo duże modele MoE tworzą problem sieciowy. Wybrane tokeny często muszą zostać przesłane między urządzeniami, aby trafić do przypisanych im ekspertów. Jeśli część ekspertów dostaje nieproporcjonalnie dużo pracy, najwolniejsza ścieżka komunikacji może wyznaczać opóźnienie całego systemu.

Moonshot przedstawia MoonEP jako warstwę systemową uzupełniającą routing ekspertów. Jej zadaniem jest ograniczanie nierównowagi w wymianach all-to-all, które powstają przy rzadkim routingu, tak aby wielka pula ekspertów mogła być praktycznie trenowana i obsługiwana. 1

To centralna część szerszej tezy K3: architektura, routing i komunikacja nie są niezależnymi wyjaśnieniami wydajności. Wszystkie muszą zadziałać razem, aby teoretyczna pojemność modelu MoE przełożyła się na realną przepustowość.

Druga oś: obliczenia dla pracy agentowej po wdrożeniu

Drugą częścią strategii jest to, co dzieje się po pretrenowaniu modelu. Moonshot opisuje infrastrukturę do trajektorii uczenia ze wzmocnieniem (RL), obejmujących długie zadania, narzędzia, programowanie, przeglądanie internetu i iteracyjne rozwiązywanie problemów. Raport mówi też o destylacji wielu modeli nauczycielskich wyspecjalizowanych w różnych dziedzinach i poziomach rozumowania do jednego systemu. 1

Zaplecze stanowi lekki system sandboxów opartych na maszynach wirtualnych, przeznaczony do tworzenia, zapisywania stanu i wznawiania środowisk zadań na dużą skalę. Podawane wartości to 51,2 mln instancji sandboxów, 133 ms na wykonanie snapshotu oraz 49 ms na odtworzenie stanu. 1

Cel jest prosty: model, który podczas działania ma poświęcać więcej obliczeń na planowanie, wywoływanie narzędzi, sprawdzanie wyników czy kontynuowanie długiego zadania, musi podczas treningu stykać się z podobnymi trajektoriami. Tanie wstrzymywanie, rozgałęzianie i przywracanie środowisk umożliwia realizację większej liczby takich przebiegów treningowych.

Nie znaczy to, że każda odpowiedź K3 automatycznie zużywa nieograniczony budżet obliczeń. Raport argumentuje raczej za systemem, który potrafi przekształcać dodatkowe kroki i dodatkowy kontekst w lepsze wykonanie zadania, zamiast opierać postęp wyłącznie na większym modelu wstępnie wytrenowanym.

Co mówi wynik BrowseComp — i czego nie da się z niego wywnioskować

Kimi K3 uzyskał według raportów 91,2% w BrowseComp, benchmarku ukierunkowanym na długotrwałe wyszukiwanie informacji. Zewnętrzna tabela wyników także podaje dla K3 91,2%, choć rankingi i konfiguracje raportowania mogą zmieniać się w czasie. 18

Wynik jest spójny z celem produktu: model zaprojektowany pod kątem długiego kontekstu, posttreningu agentowego i rozumowania podczas wnioskowania powinien być oceniany również na złożonych zadaniach informacyjnych. Nie jest to jednak czysta ablacją poszczególnych komponentów.

Pojedynczy wynik benchmarku nie mówi, jaka część rezultatu wynika z KDA, AttnRes, routingu ekspertów, infrastruktury komunikacyjnej, środowisk RL, destylacji, promptowania czy ustawień użytych w trakcie wnioskowania. Najmocniejsza ostrożna interpretacja brzmi: zgłoszony system działa dobrze jako zintegrowany stos technologiczny — nie zaś, że jeden konkretny element architektury samodzielnie wyjaśnia wynik. 118

Konkurencja z DeepSeek to przede wszystkim spór o architekturę

K3 bywa przedstawiany jako wyzwanie dla innych wielkich otwartych modeli, w tym systemów DeepSeek. Z dostępnego raportu wynika przede wszystkim odmienny nacisk projektowy: Moonshot promuje połączenie bardzo dużej rzadkiej pojemności, wydajnego przetwarzania długiego kontekstu oraz infrastruktury posttreningowej dla agentów. 117

Sam artykuł techniczny potwierdza specyfikację K3 i opisuje decyzje konstrukcyjne. Nie dowodzi jednak samodzielnie, że inne otwarte modele „utknęły” ani że K3 ma rozstrzygającą przewagę architektoniczną nad wskazanym konkurentem. Takie wnioski rynkowe wymagałyby spójnych, niezależnie odtworzonych porównań.

Koszt zależy od konfiguracji, a nie od jednego hasła marketingowego

Porównania ceny za token lub kosztu ukończenia zadania szczególnie łatwo przecenić. Zależą m.in. od promptu, intensywności rozumowania, długości kontekstu, cache'owania, użycia narzędzi, założeń dotyczących przepustowości, daty cennika i samego środowiska testowego.

Jedno opublikowane porównanie szacuje koszt ukończonego zadania na około 0,94 USD dla K3 i 1,04 USD dla GPT-5.6 Sol. Może to sugerować niewielką przewagę w tym konkretnym ustawieniu, lecz nie potwierdza uniwersalnego twierdzenia, że K3 kosztuje „o połowę mniej niż Sol”. 20

Trwalszy wniosek jest mniej efektowny, ale bardziej użyteczny: K3 to próba uczynienia długiego kontekstu i zachowania agentowego ekonomicznie wiarygodnymi przy znacznie większej całkowitej skali modelu. To, czy przewaga kosztowa rzeczywiście występuje, zależy od powtarzalnych testów oraz rozliczenia kosztów dla konkretnego wdrożenia.

Wnioski

Raport techniczny Kimi K3 przedstawia pełnostosową argumentację za skalowaniem. Skala przed wdrożeniem wynika z modelu MoE o 2,8 bln parametrów, z około 104 mld aktywowanych parametrów na token. Skala po wdrożeniu ma wynikać z trenowania i obsługi modelu, który potrafi wykorzystać długi kontekst, narzędzia, kolejne kroki rozumowania i trajektorie agentowe. 117

KDA, Gated MLA, AttnRes, Stable LatentMoE, MoonEP oraz infrastruktura sandboxów RL są częściami jednej propozycji: zachowanie agentowe na poziomie czołowych modeli wymaga nie tylko większej sieci, lecz także projektu, który czyni użytecznymi większy kontekst i większy nakład obliczeń podczas wnioskowania. Wyniki benchmarków są obiecującym sygnałem dla tego zintegrowanego podejścia, ale należy traktować je jako raportowane rezultaty całego systemu, a nie ostateczny dowód wkładu każdego pojedynczego komponentu. 118