Ohjelmisto vs. pii: Kogin veto räätälöityä laitteistoa vastaan

Cerebras rakentaa tarkoitukseen tehtyjä piikiekkoja. Groq ja SambaNova seuraavat samaa laitteistopohjaista polkua. Kog lyö vetoa päinvastaisesta: olemassa olevissa GPUissa on valtavasti suorituskykyvarantoa, jota tehottomat ohjelmistopino eivät käytä, ja syvätason ohjelmisto-optimointi voi saavuttaa tai ylittää räätälöidyn laitteiston nopeudet ilman uusia siruja .

Keskeinen innovaatio on monokernel – yksi pysyvä GPU-residenttiohjelma, joka suorittaa koko LLM-purkuvaiheen (prefill, decode, LM-head sampling) yhdellä kertaa ja eliminoi jokaisen tokenin ytimen käynnistysviiveen, joka vaivaa standardipinoja . Standardit inferenssikehykset kuten vLLM, SGLang ja TensorRT-LLM käynnistävät yhden GPU-ytimen per token, joista jokainen maksaa noin 4,5 μs käynnistysviiveen ja HBM-uudelleenkäynnistyslatenssin . Kogin moottori ohittaa standardit viestintäkirjastot ja eliminoi ruudukkosynkronoinnit, jotka se mittasi vievän 35 % jokaisen tokenin tuotantoajasta .

Väite "30 kertaa nopeampi" on kalibroitu tyypillisiin 100–300 tokenin sekuntinopeuksiin 2B–8B-malleilla huippuluokan GPUilla verrattuna Kogin 3 000 tok/s .

Teknisen esikatselun tulokset ja selkeät rajoitteet

Tulokset:

• Yli 3 000 tulostetoksen sekuntinopeus per pyyntö yhdellä 8× AMD MI300X -solmulla Laneformer 2B -mallilla (FP16, eräkoolla 1, ei spekulatiivista purkua)
• 2 100 tulostetoksen sekuntinopeus per pyyntö 8× NVIDIA H200 -solmulla samoissa olosuhteissa
• Yksittäisen käyttäjän latenssi tarpeeksi matala reaaliaikaiseen interaktiiviseen käyttöön – demo julkaistiin osoitteessa playground.kog.ai
• Laneformer 2B -malli saavutti 45,1 % HumanEval+ ja 51,6 % MBPP+ ahneessa purussa

Rajoitteet:

• Esikatselu toimi vain 2,3 miljardin parametrin mallilla (Laneformer 2B). Suurempia malleja ei esitelty
• Se oli yksittäinen pyyntö, yksittäinen käyttäjä – ei eräkäsitelty monikäyttäjäpalveluasetelma, eikä se osoittanut suorituskykyä rinnakkaiskuormituksella
• Vain kahta GPU-tyyppiä tuettiin: AMD MI300X ja NVIDIA H200
• Vain 11 työntekijää, yritys on hyvin pieni kunnianhimonsa mittakaavaan nähden

Kohdekäyttötapaukset ja varhainen liiketoimintaveto

Kog tähtää kolmeen pääskenaarioon:

• Agenttitekoälytyönkulut – yritys väittää, että GPU:t sopivat huonosti iteratiivisiin, matalan latenssin vaatimuksiin tekoälyagenttien kanssa, ja että sen moottori korjaa tämän
• Reaaliaikainen LLM-päättely – koodausavustajat, chatbotit ja sovellukset, joissa alle 100 ms token-latenssi on tärkeä
• Itse hallinnoitu yrityspäättely – yrityksille, joilla on jo datakeskus-GPU:t ja jotka haluavat välttää räätälöidyn päättelylaitteiston ostamista

Liiketoiminnan puolella Kog raportoi yli 200 konkreettisesta liiketoimintayhteydestä elokuuhun 2026 mennessä, toimitusjohtaja Delalleaun mukaan . Tekninen esikatselu nousi Hacker Newsin etusivulle toukokuussa 2026 . Yritys on kerännyt siemenrahoituksen, jota johtaa Varsity VC, jonka partneri Kamel Zeroual oli Delalleaun perustajakumppani hänen ensimmäisessä startupissaan Stribessä .

Miksi kiinteän olomuodon fyysikko ja hakkeri johtaa tätä yritystä

Toimitusjohtaja Gaël Delalleau tuo tekoälyinfrastruktuuriin epätavallisen taustan: kiinteän olomuodon fysiikka ja hyökkäävä tietoturva .

• Kiinteän olomuodon fysiikka opetti hänet ajattelemaan ensimmäisistä periaatteista, miten fyysinen laitteisto käyttäytyy matalalla tasolla – elektronit, muistikaistanleveys, transistoritason rajoitukset. Hänen tiiminsä käsittelee GPU-optimointia fysiikan ongelmana eikä ohjelmistotekniikan ongelmana
• Hyökkäävä tietoturva antoi hänelle vastakkainasettelevan käänteissuunnittelun mentaliteetin. Kogin moottori tutkii GPU:ita assembly- ja binääritasolla, löytäen piilotettua suorituskykyvarantoa, jota standardiohjaimet ja -kirjastot eivät paljasta – klassinen "hyökkääjän ajattelutapa" sovellettuna laitteistosuorituskykyyn
• Delalleau ei ole perinteinen ML-tutkija; hänen ensimmäinen startupinsa (Stribe, TechCrunch50 2009 -alumni) ei liittynyt tekoälyyn. Hän kuvailee itseään ensimmäisten periaatteiden ajattelijaksi, joka suunnittelee algoritmeja laitteistosta ylöspäin

Skaalaushaasteet: tiimin koko, sirutuki ja mallin koko

Kog kohtaa kolme merkittävää skaalausestettä:

• Tiimin koko: Vain 11 työntekijällä syvästi käsin optimoidun monokernelin siirtäminen uusille GPU-arkkitehtuureille on työlästä
• Uusi sirutuki: Moottori tukee tällä hetkellä vain AMD MI300X:ää ja NVIDIA H200:aa. Jokainen uusi GPU vaatii manuaalista käänteissuunnittelua assembly-tasolla. Toimitusjohtaja Delalleau myöntää tämän olevan pullonkaula, vaikka hän odottaa uudempien, korkeamman muistikaistanleveyden GPU-arkkitehtuurien olevan helpompia kohteita
• Mallin koko: Skaalaus 2 miljardin parametrin malleista täysimittaisiin LLM-malleihin (70B+) on Delalleaun mukaan "valtava harppaus." Pienelle mallille toimivat tekniikat eivät välttämättä laajene suurempiin muisti- ja laskentajalanjälkiin

Ratkaiseva virstanpylväs: suuret kielimallit

Kogin seuraava kriittinen virstanpylväs on todistaa, että sen lähestymistapa toimii suurilla kielimalleilla (70B+ parametria). Toimitusjohtaja Delalleau on todennut, että yritys keskittyy nyt skaalaamaan tekniikoitaan täysimittaisiin LLM-malleihin. Luottamus tulee uudempien GPU-arkkitehtuurien huomattavasti korkeammasta muistikaistanleveydestä – resurssista, jonka Kog uskoo olevan edelleen alikäytössä standardiohjelmistopinojen toimesta . Yritys ei ole ilmoittanut tarkkaa päivämäärää, mutta tätä esittelyä pidetään laajalti ratkaisevana todisteena koko teesille.

Ohjelmisto vs. pii: Kogin veto räätälöityä laitteistoa vastaan

Cerebras rakentaa tarkoitukseen tehtyjä piikiekkoja. Groq ja SambaNova seuraavat samaa laitteistopohjaista polkua. Kog lyö vetoa päinvastaisesta: olemassa olevissa GPUissa on valtavasti suorituskykyvarantoa, jota tehottomat ohjelmistopino eivät käytä, ja syvätason ohjelmisto-optimointi voi saavuttaa tai ylittää räätälöidyn laitteiston nopeudet ilman uusia siruja .

Keskeinen innovaatio on monokernel – yksi pysyvä GPU-residenttiohjelma, joka suorittaa koko LLM-purkuvaiheen (prefill, decode, LM-head sampling) yhdellä kertaa ja eliminoi jokaisen tokenin ytimen käynnistysviiveen, joka vaivaa standardipinoja . Standardit inferenssikehykset kuten vLLM, SGLang ja TensorRT-LLM käynnistävät yhden GPU-ytimen per token, joista jokainen maksaa noin 4,5 μs käynnistysviiveen ja HBM-uudelleenkäynnistyslatenssin . Kogin moottori ohittaa standardit viestintäkirjastot ja eliminoi ruudukkosynkronoinnit, jotka se mittasi vievän 35 % jokaisen tokenin tuotantoajasta .

Väite "30 kertaa nopeampi" on kalibroitu tyypillisiin 100–300 tokenin sekuntinopeuksiin 2B–8B-malleilla huippuluokan GPUilla verrattuna Kogin 3 000 tok/s .

Teknisen esikatselun tulokset ja selkeät rajoitteet

Tulokset:

• Yli 3 000 tulostetoksen sekuntinopeus per pyyntö yhdellä 8× AMD MI300X -solmulla Laneformer 2B -mallilla (FP16, eräkoolla 1, ei spekulatiivista purkua)
• 2 100 tulostetoksen sekuntinopeus per pyyntö 8× NVIDIA H200 -solmulla samoissa olosuhteissa
• Yksittäisen käyttäjän latenssi tarpeeksi matala reaaliaikaiseen interaktiiviseen käyttöön – demo julkaistiin osoitteessa playground.kog.ai
• Laneformer 2B -malli saavutti 45,1 % HumanEval+ ja 51,6 % MBPP+ ahneessa purussa

Rajoitteet:

• Esikatselu toimi vain 2,3 miljardin parametrin mallilla (Laneformer 2B). Suurempia malleja ei esitelty
• Se oli yksittäinen pyyntö, yksittäinen käyttäjä – ei eräkäsitelty monikäyttäjäpalveluasetelma, eikä se osoittanut suorituskykyä rinnakkaiskuormituksella
• Vain kahta GPU-tyyppiä tuettiin: AMD MI300X ja NVIDIA H200
• Vain 11 työntekijää, yritys on hyvin pieni kunnianhimonsa mittakaavaan nähden

Kohdekäyttötapaukset ja varhainen liiketoimintaveto

Kog tähtää kolmeen pääskenaarioon:

• Agenttitekoälytyönkulut – yritys väittää, että GPU:t sopivat huonosti iteratiivisiin, matalan latenssin vaatimuksiin tekoälyagenttien kanssa, ja että sen moottori korjaa tämän
• Reaaliaikainen LLM-päättely – koodausavustajat, chatbotit ja sovellukset, joissa alle 100 ms token-latenssi on tärkeä
• Itse hallinnoitu yrityspäättely – yrityksille, joilla on jo datakeskus-GPU:t ja jotka haluavat välttää räätälöidyn päättelylaitteiston ostamista

Liiketoiminnan puolella Kog raportoi yli 200 konkreettisesta liiketoimintayhteydestä elokuuhun 2026 mennessä, toimitusjohtaja Delalleaun mukaan . Tekninen esikatselu nousi Hacker Newsin etusivulle toukokuussa 2026 . Yritys on kerännyt siemenrahoituksen, jota johtaa Varsity VC, jonka partneri Kamel Zeroual oli Delalleaun perustajakumppani hänen ensimmäisessä startupissaan Stribessä .

Miksi kiinteän olomuodon fyysikko ja hakkeri johtaa tätä yritystä

Toimitusjohtaja Gaël Delalleau tuo tekoälyinfrastruktuuriin epätavallisen taustan: kiinteän olomuodon fysiikka ja hyökkäävä tietoturva .

• Kiinteän olomuodon fysiikka opetti hänet ajattelemaan ensimmäisistä periaatteista, miten fyysinen laitteisto käyttäytyy matalalla tasolla – elektronit, muistikaistanleveys, transistoritason rajoitukset. Hänen tiiminsä käsittelee GPU-optimointia fysiikan ongelmana eikä ohjelmistotekniikan ongelmana
• Hyökkäävä tietoturva antoi hänelle vastakkainasettelevan käänteissuunnittelun mentaliteetin. Kogin moottori tutkii GPU:ita assembly- ja binääritasolla, löytäen piilotettua suorituskykyvarantoa, jota standardiohjaimet ja -kirjastot eivät paljasta – klassinen "hyökkääjän ajattelutapa" sovellettuna laitteistosuorituskykyyn
• Delalleau ei ole perinteinen ML-tutkija; hänen ensimmäinen startupinsa (Stribe, TechCrunch50 2009 -alumni) ei liittynyt tekoälyyn. Hän kuvailee itseään ensimmäisten periaatteiden ajattelijaksi, joka suunnittelee algoritmeja laitteistosta ylöspäin

Skaalaushaasteet: tiimin koko, sirutuki ja mallin koko

Kog kohtaa kolme merkittävää skaalausestettä:

• Tiimin koko: Vain 11 työntekijällä syvästi käsin optimoidun monokernelin siirtäminen uusille GPU-arkkitehtuureille on työlästä
• Uusi sirutuki: Moottori tukee tällä hetkellä vain AMD MI300X:ää ja NVIDIA H200:aa. Jokainen uusi GPU vaatii manuaalista käänteissuunnittelua assembly-tasolla. Toimitusjohtaja Delalleau myöntää tämän olevan pullonkaula, vaikka hän odottaa uudempien, korkeamman muistikaistanleveyden GPU-arkkitehtuurien olevan helpompia kohteita
• Mallin koko: Skaalaus 2 miljardin parametrin malleista täysimittaisiin LLM-malleihin (70B+) on Delalleaun mukaan "valtava harppaus." Pienelle mallille toimivat tekniikat eivät välttämättä laajene suurempiin muisti- ja laskentajalanjälkiin

Ratkaiseva virstanpylväs: suuret kielimallit

Kogin seuraava kriittinen virstanpylväs on todistaa, että sen lähestymistapa toimii suurilla kielimalleilla (70B+ parametria). Toimitusjohtaja Delalleau on todennut, että yritys keskittyy nyt skaalaamaan tekniikoitaan täysimittaisiin LLM-malleihin. Luottamus tulee uudempien GPU-arkkitehtuurien huomattavasti korkeammasta muistikaistanleveydestä – resurssista, jonka Kog uskoo olevan edelleen alikäytössä standardiohjelmistopinojen toimesta . Yritys ei ole ilmoittanut tarkkaa päivämäärää, mutta tätä esittelyä pidetään laajalti ratkaisevana todisteena koko teesille.