Moonshot AI kuvaa Kimi K3:a esimerkkinä kahteen suuntaan skaalautumisesta: ensin rakennetaan selvästi suurempi malli, sitten sille annetaan käytön aikana riittävästi laskentaa päättelyyn, työkalujen käyttöön, verkkohakuun, ohjelmointiin ja virheistä toipumiseen. Keskeinen kysymys on talous: mallia ei voi vain tehdä tiheämmäksi ja syvemmäksi, jos pitkän kontekstin palveleminen tekee siitä käytännössä liian kalliin. K3:n rakenne pyrkii kasvattamaan kokonaiskapasiteettia samalla, kun yhden tuotetun tokenin laskenta- ja muistikuormaa hillitään. 1

Kokonaiskapasiteetti ei ole sama asia kuin aktiivinen laskenta

Kimi K3 on natiivisti multimodaalinen mixture-of-experts- eli MoE-malli. Sen ilmoitetaan sisältävän 2,8 biljoonaa parametria, joista kutakin tokenia kohden aktivoituu noin 104 miljardia. Konteksti-ikkuna on enintään miljoona tokenia. 117

Luvut kuvaavat eri asioita:

• Parametrien kokonaismäärä kertoo, kuinka paljon kapasiteettia kaikkien asiantuntijoiden joukossa on.
• Tokenia kohden aktivoituvat parametrit kertovat, kuinka suuri osa mallista valitaan laskemaan tiettyä tokenia.

Tämä on MoE-rakenteen käytännön etu. K3 voi olla kokonaisuutena paljon suurempi kuin vastaavan tokenikohtaisen laskentajalanjäljen tiheä malli. Palveleminen ei silti ole halpaa – 104 miljardia aktiivista parametria on yhä suuri määrä – mutta jokaista tokenia varten ei tarvitse maksaa tiheän 2,8 biljoonan parametrin verkon inferenssikustannusta. 1

Moonshotin väite ei siis ole yksinkertaisesti, että enemmän parametreja on aina parempi. Ajatus on, että ehdollinen laskenta voi tehdä uuden mittaluokan mallikapasiteetista käyttökelpoista pitkäkestoisissa tehtävissä.

Miljoonan tokenin konteksti vaatii toisenlaisen tarkkaavuusrakenteen

Miljoonan tokenin konteksti on hankala paitsi koulutuksen myös muistinkäytön ja laskennan kannalta: tavanomainen tarkkaavuus kasvattaa kustannuksia sekvenssin pidentyessä. K3 yhdistää Kimi Delta Attentionin (KDA) ja Gated Multi-head Latent Attentionin (Gated MLA). Rungossa on ilmoitettu olevan 69 KDA-kerrosta ja 24 Gated MLA -kerrosta, pääosin rytmillä kolme KDA-kerrosta ja yksi MLA-kerros. 112

KDA käsittelee pitkää sekvenssiä pysyvällä tilalla

KDA on mallin lineaarisen tarkkaavuuden komponentti. Sen sijaan, että jokainen tällainen kerros säilyttäisi koko historian yli kasvavaa avain–arvo-välimuistia, se käyttää kiinteänkokoista toistuvaa tilaa. Tarkoitus on, etteivät muistitila ja dekoodauksen työmäärä kasva aiemman kontekstin mukana samalla tavoin kuin täydellä tarkkaavuudella. 1

Raportti kuvaa myös KDA:n vaimenemisnopeudelle asetettua alarajaa. Kyse ei ole vain mallinnusvalinnasta: se estää tehokkaan numeerisen laskennan kannalta ongelmallisen pienet arvot ja mahdollistaa tensoriytimille sopivan lohkotetun toteutuksen. 1

Gated MLA palauttaa globaalin haun

Pelkkä lineaarinen toistuva tila ei välttämättä tarjoa samaa kykyä hakea valikoivasti tietoa koko kontekstista kuin täysi tarkkaavuus. Siksi K3 säilyttää Gated MLA -kerroksia läpi verkon. Hybridirakenteessa KDA tarjoaa edullisempaa jatkuvaa sekvenssikäsittelyä ja MLA ajoittaista globaalia tiedonhakua. 1

Ratkaisu käsittelee pitkää kontekstia myös järjestelmäongelmana. Suuri ilmoitettu konteksti-ikkuna merkitsee eniten silloin, kun malli pystyy yhä löytämään olennaisen tiedon ja tuottamaan vastauksen käyttökelpoisilla kustannuksilla.

AttnRes pyrkii säilyttämään tiedon 93 kerroksen läpi

K3:n toinen arkkitehtuuriosa on Attention Residuals (AttnRes). Mallissa on 93 kerrosta, ja AttnRes antaa myöhemmille kerroksille mahdollisuuden hakea pakattuja esityksiä aiemmista syvyyslohkoista sen sijaan, että kaiken tiedon pitäisi kulkea tiukasti kerros kerrallaan. 1

Yksinkertaistettuna KDA käsittelee tiedonkulkua sekvenssin pituussuunnassa, AttnRes puolestaan tiedonkulkua mallin syvyyssuunnassa. Tämä on tärkeää syvässä mallissa, jossa suuri osa pinosta käyttää lineaarista tarkkaavuutta: kalliin globaalin tarkkaavuuden korvaaminen auttaa vain, jos hyödyllinen tieto ei katoa tai eriydy aktivaatioiden kulkiessa kerrosten läpi. 1

Stable LatentMoE tuo ehdollista kapasiteettia

K3:n MoE-kerroksessa on ilmoituksen mukaan 896 reititettävää asiantuntijaa, joista valitaan 16 asiantuntijaa tokenia kohden. 16 Tällä syntyy ero parametrien kokonaismäärän ja aktiivisten parametrien määrän välille.

Raportin Stable LatentMoE -menetelmä pyrkii pitämään reitityksen vakaana ja tasapainoisena. Se muotoilee erätason asiantuntijajaon optimointiongelmaksi ja käyttää kvantiileihin perustuvaa tasapainotusta. Raportti johtaa täsmällisen optimin omilla oletuksillaan. Käytännön inferenssissä reititys käyttää kuitenkin kiinteitä asiantuntijapainotuksia ja tavallista top-k-valintaa, eikä tasapainotusongelmaa ratkaista uudelleen jokaiselle inferenssierälle. 1

Tämä ero on olennainen: raportoitu optimaalinen tasapaino koskee raportin reititysmuotoilua, eikä se takaa, että jokainen tuotantokuorma jakaisi tokenit täysin tasaisesti asiantuntijoille.

MoonEP tekee harvasta reitityksestä käytännöllisempää

Suuri MoE-malli tuo myös verkkoliikenneongelman. Valitut tokenit täytyy usein lähettää laitteiden välillä niiden asiantuntijoille. Jos joillekin asiantuntijoille kertyy suhteettomasti kysyntää, hitain viestintäpolku voi määrittää viiveen.

Moonshot kuvaa MoonEP:tä asiantuntijarinnakkaisen viestinnän järjestelmäkerrokseksi. Sen tehtävä on vähentää harvan reitityksen synnyttämien all-to-all-tiedonsiirtojen epätasapainoa, jotta suurta asiantuntijajoukkoa voidaan kouluttaa ja palvella käytännössä. 1

Tämä on keskeinen osa K3:n laajempaa väitettä: arkkitehtuuri, reititys ja viestintä eivät ole erillisiä suorituskyvyn selityksiä. Kaikkia tarvitaan, jotta teoreettisesti suuri harva kapasiteetti muuttuu todelliseksi läpimenoksi.

Käytön jälkeinen skaalaus: laskentaa agenttimaiseen työhön

Toinen skaalausakseli koskee esikoulutuksen jälkeistä vaihetta. Moonshot kuvaa infrastruktuuria vahvistusoppimisen trajektoreille, joihin kuuluu pitkän aikajänteen tehtäviä, työkaluja, ohjelmointia, verkkohakua ja iteratiivista ongelmanratkaisua. Raportissa kuvataan myös useiden toimiala- ja päättelyopettajien tislaamista yhdeksi järjestelmäksi. 1

Tukeva ympäristö on kevyt virtuaalikonetehosteinen sandbox-järjestelmä, joka on suunniteltu tehtäväympäristöjen luontiin, tilannekuvien ottamiseen ja jatkamiseen mittakaavassa. Raportoidut luvut ovat 51,2 miljoonaa sandbox-instanssia, 133 ms:n tilannekuvat ja 49 ms:n palautukset. 1

Tarkoitus on suoraviivainen: jos mallin halutaan käyttävän enemmän testiaikaista laskentaa suunnitteluun, työkalukutsuihin, työn tarkistamiseen tai pitkän tehtävän jatkamiseen, koulutusympäristönkin on altistettava se tällaisille trajektoreille. Ympäristöjen edullinen keskeyttäminen, haaroittaminen ja palauttaminen mahdollistaa useampia koulutusajoja.

Tämä ei tarkoita, että yksittäinen mallivastaus käyttäisi automaattisesti rajattomasti laskentaa. K3:n raportti ajaa pikemminkin järjestelmää, joka voi muuttaa lisäaskeleet ja lisäkontekstin paremmaksi tehtäväsuoritukseksi sen sijaan, että luotettaisiin vain suurempaan esikoulutettuun malliin.

Mitä BrowseComp-tulos kertoo – ja mitä se ei erota

Kimi K3:n tulokseksi ilmoitetaan 91,2 % BrowseCompissa, joka mittaa pitkän aikajänteen tiedonhakua. Myös ulkopuolinen tulostaulukko listaa K3:n 91,2 prosenttiin, vaikka sijoitukset ja raportointiasetukset voivat muuttua ajan myötä. 18

Tulos sopii tuotetavoitteeseen: pitkään kontekstiin, agenttimaiseen jälkikoulutukseen ja testiaikaiseen päättelyyn suunniteltua mallia on luontevaa arvioida vaativissa tiedonhakutehtävissä. Se ei kuitenkaan ole puhdas yksittäisten osien ablaatiotesti.

Yksi vertailupistetulos ei kerro, kuinka paljon tuloksesta johtuu KDA:sta, AttnResistä, asiantuntijareitityksestä, viestintäinfrastruktuurista, RL-ympäristöistä, tislauksesta, kehotteista tai inferenssiasetuksista. Vahvin tulkinta on, että raportoitu järjestelmä toimii hyvin integroituna kokonaisuutena – ei se, että yksi arkkitehtuurikeksintö yksin selittäisi pisteet. 118

DeepSeek-vertailu on ennen kaikkea arkkitehtuurivertailu

K3:a verrataan usein muihin suuriin avoimiin malleihin, myös DeepSeekin järjestelmiin. Raportin pohjalta kestävä johtopäätös ei ole lopullinen paremmuusjärjestys, vaan erilainen suunnittelupainotus: Moonshot ajaa kokonaisuutta, jossa yhdistyvät hyvin suuri harva kapasiteetti, tehokas pitkän kontekstin käsittely ja agenteille tarkoitettu jälkikoulutusinfrastruktuuri. 117

Itse raportti tukee K3:n teknisiä ominaisuuksia ja suunnitteluratkaisuja. Se ei yksin osoita, että muut avoimet mallit olisivat pysähtyneet, eikä se eristä ratkaisevaa arkkitehtuurietua nimettyyn kilpailijaan nähden. Tällaiset markkinaväitteet edellyttäisivät johdonmukaisia ja riippumattomasti toistettuja vertailuja.

Kustannusväitteet riippuvat asetuksesta

Tokeni- ja tehtäväkohtaisia kustannusvertailuja on helppo tulkita liian pitkälle. Niihin vaikuttavat esimerkiksi kehote, päättelyyn käytettävä työmäärä, kontekstin pituus, välimuisti, työkalujen käyttö, läpimeno-oletukset, hinnoittelupäivä ja arviointikehys.

Eräässä saatavilla olevassa vertailussa valmiin tehtävän kustannukseksi arvioidaan noin 0,94 dollaria K3:lle ja 1,04 dollaria GPT-5.6 Solille. Tämä voi viitata pieneen etuun juuri kyseisessä asetuksessa, mutta se ei tue yleistä väitettä, että K3 maksaisi puolet Solin hinnasta. 20

Kestävämpi johtopäätös on maltillisempi: K3 on yritys tehdä pitkästä kontekstista ja agenttimaisista kyvyistä taloudellisesti uskottavia huomattavasti suuremmassa kokonaismallin mittakaavassa. Toteutuuko etu käytännössä, riippuu toistettavista arvioinneista ja käyttöönottokohtaisesta kustannuslaskennasta.

Yhteenveto

Kimi K3:n tekninen raportti esittää täyden pinon skaalausargumentin. Ennen käyttöönottoa tapahtuva skaalaus syntyy 2,8 biljoonan parametrin MoE-mallista, jossa aktivoituu noin 104 miljardia parametria tokenia kohden. Käytön aikainen skaalaus syntyy mallin kouluttamisesta ja palvelemisesta niin, että se voi hyödyntää pitkää kontekstia, työkaluja, päättelyaskeleita ja agenttitrajektoreja. 117

KDA, Gated MLA, AttnRes, Stable LatentMoE, MoonEP ja RL-sandbox-infrastruktuuri ovat saman väitteen osia: huipputason agenttimainen toiminta tarvitsee suuremman mallin lisäksi rakenteen, joka tekee laajemmasta kontekstista ja suuremmasta inferenssiaikaisesta työstä käyttökelpoista. Vertailupistetulokset ovat lupaavaa näyttöä tästä integroidusta lähestymistavasta, mutta niitä on syytä lukea raportoidun järjestelmätason tuloksina – ei lopullisena todisteena kunkin komponentin yksittäisestä vaikutuksesta. 118

Moonshot AI kuvaa Kimi K3:a esimerkkinä kahteen suuntaan skaalautumisesta: ensin rakennetaan selvästi suurempi malli, sitten sille annetaan käytön aikana riittävästi laskentaa päättelyyn, työkalujen käyttöön, verkkohakuun, ohjelmointiin ja virheistä toipumiseen. Keskeinen kysymys on talous: mallia ei voi vain tehdä tiheämmäksi ja syvemmäksi, jos pitkän kontekstin palveleminen tekee siitä käytännössä liian kalliin. K3:n rakenne pyrkii kasvattamaan kokonaiskapasiteettia samalla, kun yhden tuotetun tokenin laskenta- ja muistikuormaa hillitään. 1

Kokonaiskapasiteetti ei ole sama asia kuin aktiivinen laskenta

Kimi K3 on natiivisti multimodaalinen mixture-of-experts- eli MoE-malli. Sen ilmoitetaan sisältävän 2,8 biljoonaa parametria, joista kutakin tokenia kohden aktivoituu noin 104 miljardia. Konteksti-ikkuna on enintään miljoona tokenia. 117

Luvut kuvaavat eri asioita:

• Parametrien kokonaismäärä kertoo, kuinka paljon kapasiteettia kaikkien asiantuntijoiden joukossa on.
• Tokenia kohden aktivoituvat parametrit kertovat, kuinka suuri osa mallista valitaan laskemaan tiettyä tokenia.

Tämä on MoE-rakenteen käytännön etu. K3 voi olla kokonaisuutena paljon suurempi kuin vastaavan tokenikohtaisen laskentajalanjäljen tiheä malli. Palveleminen ei silti ole halpaa – 104 miljardia aktiivista parametria on yhä suuri määrä – mutta jokaista tokenia varten ei tarvitse maksaa tiheän 2,8 biljoonan parametrin verkon inferenssikustannusta. 1

Moonshotin väite ei siis ole yksinkertaisesti, että enemmän parametreja on aina parempi. Ajatus on, että ehdollinen laskenta voi tehdä uuden mittaluokan mallikapasiteetista käyttökelpoista pitkäkestoisissa tehtävissä.

Miljoonan tokenin konteksti vaatii toisenlaisen tarkkaavuusrakenteen

Miljoonan tokenin konteksti on hankala paitsi koulutuksen myös muistinkäytön ja laskennan kannalta: tavanomainen tarkkaavuus kasvattaa kustannuksia sekvenssin pidentyessä. K3 yhdistää Kimi Delta Attentionin (KDA) ja Gated Multi-head Latent Attentionin (Gated MLA). Rungossa on ilmoitettu olevan 69 KDA-kerrosta ja 24 Gated MLA -kerrosta, pääosin rytmillä kolme KDA-kerrosta ja yksi MLA-kerros. 112

KDA käsittelee pitkää sekvenssiä pysyvällä tilalla

KDA on mallin lineaarisen tarkkaavuuden komponentti. Sen sijaan, että jokainen tällainen kerros säilyttäisi koko historian yli kasvavaa avain–arvo-välimuistia, se käyttää kiinteänkokoista toistuvaa tilaa. Tarkoitus on, etteivät muistitila ja dekoodauksen työmäärä kasva aiemman kontekstin mukana samalla tavoin kuin täydellä tarkkaavuudella. 1

Raportti kuvaa myös KDA:n vaimenemisnopeudelle asetettua alarajaa. Kyse ei ole vain mallinnusvalinnasta: se estää tehokkaan numeerisen laskennan kannalta ongelmallisen pienet arvot ja mahdollistaa tensoriytimille sopivan lohkotetun toteutuksen. 1

Gated MLA palauttaa globaalin haun

Pelkkä lineaarinen toistuva tila ei välttämättä tarjoa samaa kykyä hakea valikoivasti tietoa koko kontekstista kuin täysi tarkkaavuus. Siksi K3 säilyttää Gated MLA -kerroksia läpi verkon. Hybridirakenteessa KDA tarjoaa edullisempaa jatkuvaa sekvenssikäsittelyä ja MLA ajoittaista globaalia tiedonhakua. 1

Ratkaisu käsittelee pitkää kontekstia myös järjestelmäongelmana. Suuri ilmoitettu konteksti-ikkuna merkitsee eniten silloin, kun malli pystyy yhä löytämään olennaisen tiedon ja tuottamaan vastauksen käyttökelpoisilla kustannuksilla.

AttnRes pyrkii säilyttämään tiedon 93 kerroksen läpi

K3:n toinen arkkitehtuuriosa on Attention Residuals (AttnRes). Mallissa on 93 kerrosta, ja AttnRes antaa myöhemmille kerroksille mahdollisuuden hakea pakattuja esityksiä aiemmista syvyyslohkoista sen sijaan, että kaiken tiedon pitäisi kulkea tiukasti kerros kerrallaan. 1

Yksinkertaistettuna KDA käsittelee tiedonkulkua sekvenssin pituussuunnassa, AttnRes puolestaan tiedonkulkua mallin syvyyssuunnassa. Tämä on tärkeää syvässä mallissa, jossa suuri osa pinosta käyttää lineaarista tarkkaavuutta: kalliin globaalin tarkkaavuuden korvaaminen auttaa vain, jos hyödyllinen tieto ei katoa tai eriydy aktivaatioiden kulkiessa kerrosten läpi. 1

Stable LatentMoE tuo ehdollista kapasiteettia

K3:n MoE-kerroksessa on ilmoituksen mukaan 896 reititettävää asiantuntijaa, joista valitaan 16 asiantuntijaa tokenia kohden. 16 Tällä syntyy ero parametrien kokonaismäärän ja aktiivisten parametrien määrän välille.

Raportin Stable LatentMoE -menetelmä pyrkii pitämään reitityksen vakaana ja tasapainoisena. Se muotoilee erätason asiantuntijajaon optimointiongelmaksi ja käyttää kvantiileihin perustuvaa tasapainotusta. Raportti johtaa täsmällisen optimin omilla oletuksillaan. Käytännön inferenssissä reititys käyttää kuitenkin kiinteitä asiantuntijapainotuksia ja tavallista top-k-valintaa, eikä tasapainotusongelmaa ratkaista uudelleen jokaiselle inferenssierälle. 1

Tämä ero on olennainen: raportoitu optimaalinen tasapaino koskee raportin reititysmuotoilua, eikä se takaa, että jokainen tuotantokuorma jakaisi tokenit täysin tasaisesti asiantuntijoille.

MoonEP tekee harvasta reitityksestä käytännöllisempää

Suuri MoE-malli tuo myös verkkoliikenneongelman. Valitut tokenit täytyy usein lähettää laitteiden välillä niiden asiantuntijoille. Jos joillekin asiantuntijoille kertyy suhteettomasti kysyntää, hitain viestintäpolku voi määrittää viiveen.

Moonshot kuvaa MoonEP:tä asiantuntijarinnakkaisen viestinnän järjestelmäkerrokseksi. Sen tehtävä on vähentää harvan reitityksen synnyttämien all-to-all-tiedonsiirtojen epätasapainoa, jotta suurta asiantuntijajoukkoa voidaan kouluttaa ja palvella käytännössä. 1

Tämä on keskeinen osa K3:n laajempaa väitettä: arkkitehtuuri, reititys ja viestintä eivät ole erillisiä suorituskyvyn selityksiä. Kaikkia tarvitaan, jotta teoreettisesti suuri harva kapasiteetti muuttuu todelliseksi läpimenoksi.

Käytön jälkeinen skaalaus: laskentaa agenttimaiseen työhön

Toinen skaalausakseli koskee esikoulutuksen jälkeistä vaihetta. Moonshot kuvaa infrastruktuuria vahvistusoppimisen trajektoreille, joihin kuuluu pitkän aikajänteen tehtäviä, työkaluja, ohjelmointia, verkkohakua ja iteratiivista ongelmanratkaisua. Raportissa kuvataan myös useiden toimiala- ja päättelyopettajien tislaamista yhdeksi järjestelmäksi. 1

Tukeva ympäristö on kevyt virtuaalikonetehosteinen sandbox-järjestelmä, joka on suunniteltu tehtäväympäristöjen luontiin, tilannekuvien ottamiseen ja jatkamiseen mittakaavassa. Raportoidut luvut ovat 51,2 miljoonaa sandbox-instanssia, 133 ms:n tilannekuvat ja 49 ms:n palautukset. 1

Tarkoitus on suoraviivainen: jos mallin halutaan käyttävän enemmän testiaikaista laskentaa suunnitteluun, työkalukutsuihin, työn tarkistamiseen tai pitkän tehtävän jatkamiseen, koulutusympäristönkin on altistettava se tällaisille trajektoreille. Ympäristöjen edullinen keskeyttäminen, haaroittaminen ja palauttaminen mahdollistaa useampia koulutusajoja.

Tämä ei tarkoita, että yksittäinen mallivastaus käyttäisi automaattisesti rajattomasti laskentaa. K3:n raportti ajaa pikemminkin järjestelmää, joka voi muuttaa lisäaskeleet ja lisäkontekstin paremmaksi tehtäväsuoritukseksi sen sijaan, että luotettaisiin vain suurempaan esikoulutettuun malliin.

Mitä BrowseComp-tulos kertoo – ja mitä se ei erota

Kimi K3:n tulokseksi ilmoitetaan 91,2 % BrowseCompissa, joka mittaa pitkän aikajänteen tiedonhakua. Myös ulkopuolinen tulostaulukko listaa K3:n 91,2 prosenttiin, vaikka sijoitukset ja raportointiasetukset voivat muuttua ajan myötä. 18

Tulos sopii tuotetavoitteeseen: pitkään kontekstiin, agenttimaiseen jälkikoulutukseen ja testiaikaiseen päättelyyn suunniteltua mallia on luontevaa arvioida vaativissa tiedonhakutehtävissä. Se ei kuitenkaan ole puhdas yksittäisten osien ablaatiotesti.

Yksi vertailupistetulos ei kerro, kuinka paljon tuloksesta johtuu KDA:sta, AttnResistä, asiantuntijareitityksestä, viestintäinfrastruktuurista, RL-ympäristöistä, tislauksesta, kehotteista tai inferenssiasetuksista. Vahvin tulkinta on, että raportoitu järjestelmä toimii hyvin integroituna kokonaisuutena – ei se, että yksi arkkitehtuurikeksintö yksin selittäisi pisteet. 118

DeepSeek-vertailu on ennen kaikkea arkkitehtuurivertailu

K3:a verrataan usein muihin suuriin avoimiin malleihin, myös DeepSeekin järjestelmiin. Raportin pohjalta kestävä johtopäätös ei ole lopullinen paremmuusjärjestys, vaan erilainen suunnittelupainotus: Moonshot ajaa kokonaisuutta, jossa yhdistyvät hyvin suuri harva kapasiteetti, tehokas pitkän kontekstin käsittely ja agenteille tarkoitettu jälkikoulutusinfrastruktuuri. 117

Itse raportti tukee K3:n teknisiä ominaisuuksia ja suunnitteluratkaisuja. Se ei yksin osoita, että muut avoimet mallit olisivat pysähtyneet, eikä se eristä ratkaisevaa arkkitehtuurietua nimettyyn kilpailijaan nähden. Tällaiset markkinaväitteet edellyttäisivät johdonmukaisia ja riippumattomasti toistettuja vertailuja.

Kustannusväitteet riippuvat asetuksesta

Tokeni- ja tehtäväkohtaisia kustannusvertailuja on helppo tulkita liian pitkälle. Niihin vaikuttavat esimerkiksi kehote, päättelyyn käytettävä työmäärä, kontekstin pituus, välimuisti, työkalujen käyttö, läpimeno-oletukset, hinnoittelupäivä ja arviointikehys.

Eräässä saatavilla olevassa vertailussa valmiin tehtävän kustannukseksi arvioidaan noin 0,94 dollaria K3:lle ja 1,04 dollaria GPT-5.6 Solille. Tämä voi viitata pieneen etuun juuri kyseisessä asetuksessa, mutta se ei tue yleistä väitettä, että K3 maksaisi puolet Solin hinnasta. 20

Kestävämpi johtopäätös on maltillisempi: K3 on yritys tehdä pitkästä kontekstista ja agenttimaisista kyvyistä taloudellisesti uskottavia huomattavasti suuremmassa kokonaismallin mittakaavassa. Toteutuuko etu käytännössä, riippuu toistettavista arvioinneista ja käyttöönottokohtaisesta kustannuslaskennasta.

Yhteenveto

Kimi K3:n tekninen raportti esittää täyden pinon skaalausargumentin. Ennen käyttöönottoa tapahtuva skaalaus syntyy 2,8 biljoonan parametrin MoE-mallista, jossa aktivoituu noin 104 miljardia parametria tokenia kohden. Käytön aikainen skaalaus syntyy mallin kouluttamisesta ja palvelemisesta niin, että se voi hyödyntää pitkää kontekstia, työkaluja, päättelyaskeleita ja agenttitrajektoreja. 117

KDA, Gated MLA, AttnRes, Stable LatentMoE, MoonEP ja RL-sandbox-infrastruktuuri ovat saman väitteen osia: huipputason agenttimainen toiminta tarvitsee suuremman mallin lisäksi rakenteen, joka tekee laajemmasta kontekstista ja suuremmasta inferenssiaikaisesta työstä käyttökelpoista. Vertailupistetulokset ovat lupaavaa näyttöä tästä integroidusta lähestymistavasta, mutta niitä on syytä lukea raportoidun järjestelmätason tuloksina – ei lopullisena todisteena kunkin komponentin yksittäisestä vaikutuksesta. 118