Ranskalainen startup Kog mullistaa tekoälypäättelyn: 3 000 tokenia sekunnissa tavallisilla GPUilla

Tekoälyteollisuus on käyttänyt miljardeja nopeampien sirujen jahtaamiseen. Pariisilainen startup Kog AI lyö vetoa, että ongelma oli väärä – ja sen toukokuun 2026 tekninen esikatselu viittaa siihen, että veto saattaa pitää.

Kog (Kog AI) on ranskalainen tekoälyinfrastruktuuristartup, jonka perusti Gaël Delalleau vuonna 2023. Sen ydin on Kog Inference Engine (KIE), täysin ohjelmistopohjainen inferenssimoottori, joka nopeuttaa dramaattisesti LLM-päättelyä tavallisilla datakeskus-GPUilla – ilman räätälöityä piitä . Yritys tuli julkisuuteen toukokuussa 2025 ja julkaisi julkisen teknisen esikatselun 28. toukokuuta 2026 .

Ohjelmisto vs. pii: Kogin veto räätälöityä laitteistoa vastaan

Cerebras rakentaa tarkoitukseen tehtyjä piikiekkoja. Groq ja SambaNova seuraavat samaa laitteistopohjaista polkua. Kog lyö vetoa päinvastaisesta: olemassa olevissa GPUissa on valtavasti suorituskykyvarantoa, jota tehottomat ohjelmistopino eivät käytä, ja syvätason ohjelmisto-optimointi voi saavuttaa tai ylittää räätälöidyn laitteiston nopeudet ilman uusia siruja .

Keskeinen innovaatio on monokernel – yksi pysyvä GPU-residenttiohjelma, joka suorittaa koko LLM-purkuvaiheen (prefill, decode, LM-head sampling) yhdellä kertaa ja eliminoi jokaisen tokenin ytimen käynnistysviiveen, joka vaivaa standardipinoja . Standardit inferenssikehykset kuten vLLM, SGLang ja TensorRT-LLM käynnistävät yhden GPU-ytimen per token, joista jokainen maksaa noin 4,5 μs käynnistysviiveen ja HBM-uudelleenkäynnistyslatenssin . Kogin moottori ohittaa standardit viestintäkirjastot ja eliminoi ruudukkosynkronoinnit, jotka se mittasi vievän 35 % jokaisen tokenin tuotantoajasta .

Väite "30 kertaa nopeampi" on kalibroitu tyypillisiin 100–300 tokenin sekuntinopeuksiin 2B–8B-malleilla huippuluokan GPUilla verrattuna Kogin 3 000 tok/s .

Teknisen esikatselun tulokset ja selkeät rajoitteet

Tulokset:

• Yli 3 000 tulostetoksen sekuntinopeus per pyyntö yhdellä 8× AMD MI300X -solmulla Laneformer 2B -mallilla (FP16, eräkoolla 1, ei spekulatiivista purkua)
• 2 100 tulostetoksen sekuntinopeus per pyyntö 8× NVIDIA H200 -solmulla samoissa olosuhteissa
• Yksittäisen käyttäjän latenssi tarpeeksi matala reaaliaikaiseen interaktiiviseen käyttöön – demo julkaistiin osoitteessa playground.kog.ai
• Laneformer 2B -malli saavutti 45,1 % HumanEval+ ja 51,6 % MBPP+ ahneessa purussa

Rajoitteet:

• Esikatselu toimi vain 2,3 miljardin parametrin mallilla (Laneformer 2B). Suurempia malleja ei esitelty
• Se oli yksittäinen pyyntö, yksittäinen käyttäjä – ei eräkäsitelty monikäyttäjäpalveluasetelma, eikä se osoittanut suorituskykyä rinnakkaiskuormituksella
• Vain kahta GPU-tyyppiä tuettiin: AMD MI300X ja NVIDIA H200
• Vain 11 työntekijää, yritys on hyvin pieni kunnianhimonsa mittakaavaan nähden

Kohdekäyttötapaukset ja varhainen liiketoimintaveto

Kog tähtää kolmeen pääskenaarioon:

• Agenttitekoälytyönkulut – yritys väittää, että GPU:t sopivat huonosti iteratiivisiin, matalan latenssin vaatimuksiin tekoälyagenttien kanssa, ja että sen moottori korjaa tämän
• Reaaliaikainen LLM-päättely – koodausavustajat, chatbotit ja sovellukset, joissa alle 100 ms token-latenssi on tärkeä
• Itse hallinnoitu yrityspäättely – yrityksille, joilla on jo datakeskus-GPU:t ja jotka haluavat välttää räätälöidyn päättelylaitteiston ostamista

Liiketoiminnan puolella Kog raportoi yli 200 konkreettisesta liiketoimintayhteydestä elokuuhun 2026 mennessä, toimitusjohtaja Delalleaun mukaan . Tekninen esikatselu nousi Hacker Newsin etusivulle toukokuussa 2026 . Yritys on kerännyt siemenrahoituksen, jota johtaa Varsity VC, jonka partneri Kamel Zeroual oli Delalleaun perustajakumppani hänen ensimmäisessä startupissaan Stribessä .

Miksi kiinteän olomuodon fyysikko ja hakkeri johtaa tätä yritystä

Toimitusjohtaja Gaël Delalleau tuo tekoälyinfrastruktuuriin epätavallisen taustan: kiinteän olomuodon fysiikka ja hyökkäävä tietoturva .

• Kiinteän olomuodon fysiikka opetti hänet ajattelemaan ensimmäisistä periaatteista, miten fyysinen laitteisto käyttäytyy matalalla tasolla – elektronit, muistikaistanleveys, transistoritason rajoitukset. Hänen tiiminsä käsittelee GPU-optimointia fysiikan ongelmana eikä ohjelmistotekniikan ongelmana
• Hyökkäävä tietoturva antoi hänelle vastakkainasettelevan käänteissuunnittelun mentaliteetin. Kogin moottori tutkii GPU:ita assembly- ja binääritasolla, löytäen piilotettua suorituskykyvarantoa, jota standardiohjaimet ja -kirjastot eivät paljasta – klassinen "hyökkääjän ajattelutapa" sovellettuna laitteistosuorituskykyyn
• Delalleau ei ole perinteinen ML-tutkija; hänen ensimmäinen startupinsa (Stribe, TechCrunch50 2009 -alumni) ei liittynyt tekoälyyn. Hän kuvailee itseään ensimmäisten periaatteiden ajattelijaksi, joka suunnittelee algoritmeja laitteistosta ylöspäin

Skaalaushaasteet: tiimin koko, sirutuki ja mallin koko

Kog kohtaa kolme merkittävää skaalausestettä:

• Tiimin koko: Vain 11 työntekijällä syvästi käsin optimoidun monokernelin siirtäminen uusille GPU-arkkitehtuureille on työlästä
• Uusi sirutuki: Moottori tukee tällä hetkellä vain AMD MI300X:ää ja NVIDIA H200:aa. Jokainen uusi GPU vaatii manuaalista käänteissuunnittelua assembly-tasolla. Toimitusjohtaja Delalleau myöntää tämän olevan pullonkaula, vaikka hän odottaa uudempien, korkeamman muistikaistanleveyden GPU-arkkitehtuurien olevan helpompia kohteita
• Mallin koko: Skaalaus 2 miljardin parametrin malleista täysimittaisiin LLM-malleihin (70B+) on Delalleaun mukaan "valtava harppaus." Pienelle mallille toimivat tekniikat eivät välttämättä laajene suurempiin muisti- ja laskentajalanjälkiin

Ratkaiseva virstanpylväs: suuret kielimallit

Kogin seuraava kriittinen virstanpylväs on todistaa, että sen lähestymistapa toimii suurilla kielimalleilla (70B+ parametria). Toimitusjohtaja Delalleau on todennut, että yritys keskittyy nyt skaalaamaan tekniikoitaan täysimittaisiin LLM-malleihin. Luottamus tulee uudempien GPU-arkkitehtuurien huomattavasti korkeammasta muistikaistanleveydestä – resurssista, jonka Kog uskoo olevan edelleen alikäytössä standardiohjelmistopinojen toimesta . Yritys ei ole ilmoittanut tarkkaa päivämäärää, mutta tätä esittelyä pidetään laajalti ratkaisevana todisteena koko teesille.