Kog vs. GPU-katto: Kuinka pelkkä ohjelmisto voi tuoda 30x nopeamman LLM-päätelmän

Kog on ranskalainen startup, joka väittää saavuttavansa jopa 30x nopeamman LLM-päätelmän nykyisillä datakeskus-GPUilla syvällä, ohjelmistopohjaisella optimointipinollaan — yhteensuunnittelemalla räätälöidyn mallin arkkitehtuurin (Laneformer), yhden ytimen päättelymoottorin (KIE) ja oman tietoliikennekerroksensa (KCCL) poistaakseen jokaisen pysähtymislähteen dekoodaussilmukasta.

Sen sijaan, että Kog rakentaisi omia ASIC-piirejä tai hankkisi eksoottista laitteistoa, se käsittelee kolmea kerrosta yhtenä yhteensuunniteltuna järjestelmänä:

• Monoydin (yksi pysyvä CUDA-ydin): Koko LLM-dekoodausvaihe suoritetaan yhtenä pysyvänä ytimenä ilman ytimen käynnistyksiä tai keskeytyksiä kerrosten välillä, poistaen GPU:n käynnistyskustannukset kokonaan.
• Viivästetty Tensori-Parallelismi (DTP): Standardi tensori-parallelismi pysähtyy all-reduce -operaatioon jokaisella kerroksella. Kog viivästyttää jokaista all-reduce -operaatiota δ=2 kerroksella, yhdistäen tietoliikenteen laskentaan ja painojen suoratoistoon, jolloin GPU:t eivät koskaan odota tyhjänä tietoa.
• Kaistarakenteinen Transformer-arkkitehtuuri: Laneformer jakaa mallin 8 rinnakkaiseen "kaistaan", jotka kohdistuvat DTP:n tietoliikenneaikatauluun, jolloin moottori pystyy täysin piilottamaan tensori-parallelismin ylikuormituksen.
• Räätälöity tietoliikennekerros (KCCL): Korvaa tavallisen NCCL/RCCL:n, saavuttaen matalamman viiveen, lineaarisesti skaalautuvan tensori-parallelismin GPUiden välillä.
• Assembly-tason optimointi: Kog työskentelee C++/assembly-tasolla sen sijaan, että kasaälyisiä parannuksia CUDA- tai ROCm-päälle, kohdistaen jokaisen GPU:n muistikaistan ja laskentakäytön syklin.

Laneformer 2B: Demonstroidut tulokset

Kog avasi lähdekoodin Laneformer 2B:stä (2,3B parametria), ohjeistetusta koodausmallista, joka on suunniteltu dekoodausnopeudelle raa'an vertailupistemäärän sijaan. Nämä nopeudet ovat noin 10x nopeampia kuin tyypillinen vLLM-suorituskyky tämänkokoiselle mallille.

Mittari	Tulos
Dekoodausnopeus 8× AMD MI300X	3 000 ulostulotunnusta/s per pyyntö (FP16, eräkoossa 1)
Dekoodausnopeus 8× NVIDIA H200	2 100 ulostulotunnusta/s per pyyntö (FP16, eräkoossa 1)
HumanEval+ (ahne)	45,1 %
MBPP+ (ahne)	51,6 %
Menetelmä	Ei kvantisointia, ei spekulatiivista dekoodausta, ei karsintaa

Seuraavat virstanpylväät skaalaamiseen

Kogin julkinen tekniikkaesikatselu toimii 2B-mallilla. Yritys kilpailee nyt skaalatakseen tekniikoitaan:

• Lähiajan tavoite: Todistaa 10x nopeuden parannus merkittävässä teollisuusmittakaavan mallissa (esim. 70B+ tiheä tai MoE). Yritys odottaa saavuttavansa tämän tulevien kuukausien aikana.
• Pitkän aikavälin tavoite: Osoittaa, että sen lähestymistapa voi tuottaa 30x nopeamman päätelmän suurilla frontier MoE-malleilla nopeuksilla, jotka ovat samankaltaisia kuin mitä se saavutti Laneformer 2B:llä. Kog on julkisesti väittänyt, että sen DTP- ja monoydintekniikat skaalautuvat suotuisasti MoE-arkkitehtuureihin.
• Toukokuun 2026 julkaisun jälkeen Kog kertoo saaneensa 200+ konkreettista yritysliidiä, ja se keskittyy täysin suurempien mallien tukeen vastatakseen yritysten kysyntään.

Vertailu kilpailijoihin

ZML — Myös ranskalainen AI-startup (Yann LeCunin tukema), ZML käyttää erilaista lähestymistapaa: se julkaisi LLMD:n, ilmaisen päättelymoottorin, joka mahdollistaa monien avoimen lähdekoodin mallien suorittamisen useilla eri siruilla (NVIDIA, AMD, Google TPU, Apple Metal, Intel Arc) käyttämällä yhtenäistä kääntäjäpohjaista lähestymistapaa. ZML priorisoi laitteistojen siirrettävyyttä ja monisirutukea äärimmäisen yhden pyynnön viiveen sijaan. Kog puolestaan on suunniteltu maksimaaliseen viiveen vähentämiseen tietyillä tehokkailla datakeskus-GPUilla (MI300X, H200) syvän, laitteistokohtaisen optimoinnin avulla.

Cerebras — Käyttää perustavanlaatuisesti laitteistopohjaista strategiaa: Piirilevymittakaava Moottori (WSE-3), valtava yksittäinen siru, joka poistaa monen GPU:n tietoliikennetarpeen. Cerebras saavuttaa ~2 100 tunnusta/s Llama 3.1 70B:llä (erä 1) WSE-3-laitteistollaan — huomionarvoisesti, tuo nopeus on 70B-mallille, ei 2B-mallille.

Ulottuvuus	Kog	Cerebras
Lähestymistapa	Ohjelmistopohjainen tavallisilla GPUilla	Räätälöity piirilevymittakaava laitteisto
Paras demo	3 000 tok/s 2B-mallilla	~2 100 tok/s 70B-mallilla
Viiveväite	Tavoittelee 30x frontier-malleille	~4x vs H100 70B-malleilla
Laitteistokustannus	Käyttää olemassa olevaa GPU-infrastruktuuria	Vaatii omaa CS-3-järjestelmää
Kypsyys	Varhaisvaihe (tekniikkaesikatselu, vain 2B)	Tuotantotasoinen useille avoimille malleille

Keskeinen varoitus: Kogin 3 000 tok/s -tulos on 2,3B-mallilla — kertaluokkaa pienempi kuin 70B-mallit, joita Cerebras palvelee vertailukelpoisilla nopeuksilla. Kog ei ole vielä osoittanut 30x-väitettään mittakaavassa. Yrityksen seuraava virstanpylväs (10x suuressa teollisuusmallissa) on kriittinen todistuspiste.