Software vs. silicium: Kogs strategi mod specialhardware

Cerebras bygger formålsbyggede waferskala-chips. Groq og SambaNova følger samme hardware-første vej. Kog satser på det modsatte: at den enorme ydeevne, der allerede findes i eksisterende GPU'er, blot efterlades uudnyttet af ineffektive software-stakke, og at dybdegående softwareoptimering kan matche eller overgå hastighederne fra specialhardware – uden nye chips.

Den centrale innovation er en monokernel – et enkelt, vedvarende GPU-program, der kører hele LLM-dekodningspassen (prefill, decode, LM-head sampling) i ét hug og dermed eliminerer den overhead, der opstår, når der skal startes en ny kerne for hvert token. Standard inferensrammer som vLLM, SGLang og TensorRT-LLM starter én GPU-kerne pr. token, hver med en overhead på ca. 4,5 μs plus HBM-genstartsforsinkelse. Kogs motor bypasserer standard kommunikationsbiblioteker og fjerner gittersynkroniseringer, som de målte til at udgøre 35 % af tiden pr. token-generering.

Kog hævder, at deres motor er 30 gange hurtigere end typiske systemer, der kører med 100–300 tokens/s for 2B–8B modeller på high-end GPU'er – sammenlignet med Kogs 3.000 tokens/s.

Resultater og klare begrænsninger i tech-previewen

Resultater:

• 3.000+ output-tokens pr. sekund pr. forespørgsel på en enkelt 8× AMD MI300X-node med Laneformer 2B-modellen (FP16, batch-størrelse 1, uden spekulativ dekodning).
• 2.100 output-tokens/s pr. forespørgsel på 8× NVIDIA H200 under samme betingelser.
• Single-user-latens lav nok til realtidsinteraktiv brug – demoen blev offentliggjort på playground.kog.ai.
• Laneformer 2B-modellen opnåede 45,1 % HumanEval+ og 51,6 % MBPP+ ved greedy decoding.

Begrænsninger:

• Previewen kørte kun på en 2,3 mia. parameters model (Laneformer 2B). Større modeller blev ikke demonstreret.
• Det var single-request, single-user – ikke et batch-baseret multi-user opsætning til produktion, og viste ikke gennemløb under samtidig belastning.
• Kun to GPU-typer understøttes: AMD MI300X og NVIDIA H200.
• Med kun 11 ansatte er virksomheden meget lille i forhold til ambitionens omfang.

Målrettede anvendelser og tidlig forretningstiltrækning

Kog sigter mod tre hovedscenarier:

• Agentiske AI-arbejdsgange – virksomheden argumenterer for, at GPU'er er dårligt egnede til de iterative, lav-latens-krav fra AI-agenter, og at dens motor løser dette.
• Realtids-LLM-inferens – kodnings-copiloter, chatbots og applikationer, hvor sub-100 ms pr. token-latens er vigtig.
• Selv-hostet enterprise-inferens – virksomheder, der allerede ejer datacenter-GPU'er og ønsker at undgå at købe dedikeret inferenshardware.

På forretningssiden rapporterede Kog 200+ konkrete forretningsemner pr. august 2026, ifølge CEO Delalleau. Tech-previewen nåede forsiden af Hacker News i maj 2026. Selskabet har rejst en seed-runde med Varsity VC som med-leder, hvis partner Kamel Zeroual var Delalleaus medstifter i hans første startup, Stribe.

Derfor leder en faststoffysiker og hacker virksomheden

CEO Gaël Delalleau medbringer en usædvanlig baggrund til AI-infrastruktur: faststoffysik og offensiv cybersikkerhed.

• Faststoffysik trænede ham i at ræsonnere ud fra første principper om, hvordan fysisk hardware opfører sig på et lavt niveau – elektroner, hukommelsesbåndbredde, transistor-niveau begrænsninger. Hans team behandler GPU-optimering som et fysikproblem snarere end et softwareingeniørproblem.
• Offensiv cybersikkerhed gav ham en mentalitet med modstanderens omvendte konstruktion. Kogs motor undersøger GPU'er på assembly- og binært niveau og finder skjult kapacitet, som standarddrivere og biblioteker ikke udnytter – en klassisk "angriber-tankegang" anvendt på hardwareydelse.
• Delalleau er ikke en traditionel ML-forsker; hans første startup (Stribe, en TechCrunch50 2009-deltager) var ikke relateret til AI. Han beskriver sig selv som en første-principper-tænker, der designer algoritmer og strukturer fra hardwaren og op.

Skaleringsudfordringer: teamstørrelse, chip-support og modelskala

Kog står over for tre betydelige skaleringshurdler:

• Teamstørrelse: Med kun 11 ansatte er det arbejdskrævende at portere den dybt håndoptimerede monokernel til nye GPU-arkitekturer.
• Understøttelse af nye chips: Motoren understøtter i øjeblikket kun AMD MI300X og NVIDIA H200. Hver ny GPU kræver manuel omvendt konstruktion på assembly-niveau. CEO Delalleau anerkender, at dette er en flaskehals, selvom han forventer, at nyere GPU-arkitekturer med højere hukommelsesbåndbredde vil være lettere mål.
• Modelskala: At skalere fra 2B-parameters modeller til fuldskala LLM'er (70B+) udgør ifølge Delalleau "et kæmpe spring." De teknikker, der virker for en lille model, kan ikke nødvendigvis overføres til meget større hukommelses- og beregningsfodaftryk.

Den afgørende milepæl: store sprogmodeller

Kogs næste kritiske milepæl er at bevise, at deres tilgang virker på store sprogmodeller (70B+ parametre). CEO Delalleau har udtalt, at virksomheden nu fokuserer på at skalere sine teknikker til fuldskala LLM'er. Tilliden kommer fra nyere GPU-arkitekturer med væsentligt højere hukommelsesbåndbredde – en ressource, Kog mener forbliver fundamentalt underudnyttet af standard software-stakke. Virksomheden har ikke annonceret en specifik dato, men demonstrationen betragtes bredt som det altafgørende bevis for hele tesen.

Software vs. silicium: Kogs strategi mod specialhardware

Cerebras bygger formålsbyggede waferskala-chips. Groq og SambaNova følger samme hardware-første vej. Kog satser på det modsatte: at den enorme ydeevne, der allerede findes i eksisterende GPU'er, blot efterlades uudnyttet af ineffektive software-stakke, og at dybdegående softwareoptimering kan matche eller overgå hastighederne fra specialhardware – uden nye chips.

Den centrale innovation er en monokernel – et enkelt, vedvarende GPU-program, der kører hele LLM-dekodningspassen (prefill, decode, LM-head sampling) i ét hug og dermed eliminerer den overhead, der opstår, når der skal startes en ny kerne for hvert token. Standard inferensrammer som vLLM, SGLang og TensorRT-LLM starter én GPU-kerne pr. token, hver med en overhead på ca. 4,5 μs plus HBM-genstartsforsinkelse. Kogs motor bypasserer standard kommunikationsbiblioteker og fjerner gittersynkroniseringer, som de målte til at udgøre 35 % af tiden pr. token-generering.

Kog hævder, at deres motor er 30 gange hurtigere end typiske systemer, der kører med 100–300 tokens/s for 2B–8B modeller på high-end GPU'er – sammenlignet med Kogs 3.000 tokens/s.

Resultater og klare begrænsninger i tech-previewen

Resultater:

• 3.000+ output-tokens pr. sekund pr. forespørgsel på en enkelt 8× AMD MI300X-node med Laneformer 2B-modellen (FP16, batch-størrelse 1, uden spekulativ dekodning).
• 2.100 output-tokens/s pr. forespørgsel på 8× NVIDIA H200 under samme betingelser.
• Single-user-latens lav nok til realtidsinteraktiv brug – demoen blev offentliggjort på playground.kog.ai.
• Laneformer 2B-modellen opnåede 45,1 % HumanEval+ og 51,6 % MBPP+ ved greedy decoding.

Begrænsninger:

• Previewen kørte kun på en 2,3 mia. parameters model (Laneformer 2B). Større modeller blev ikke demonstreret.
• Det var single-request, single-user – ikke et batch-baseret multi-user opsætning til produktion, og viste ikke gennemløb under samtidig belastning.
• Kun to GPU-typer understøttes: AMD MI300X og NVIDIA H200.
• Med kun 11 ansatte er virksomheden meget lille i forhold til ambitionens omfang.

Målrettede anvendelser og tidlig forretningstiltrækning

Kog sigter mod tre hovedscenarier:

• Agentiske AI-arbejdsgange – virksomheden argumenterer for, at GPU'er er dårligt egnede til de iterative, lav-latens-krav fra AI-agenter, og at dens motor løser dette.
• Realtids-LLM-inferens – kodnings-copiloter, chatbots og applikationer, hvor sub-100 ms pr. token-latens er vigtig.
• Selv-hostet enterprise-inferens – virksomheder, der allerede ejer datacenter-GPU'er og ønsker at undgå at købe dedikeret inferenshardware.

På forretningssiden rapporterede Kog 200+ konkrete forretningsemner pr. august 2026, ifølge CEO Delalleau. Tech-previewen nåede forsiden af Hacker News i maj 2026. Selskabet har rejst en seed-runde med Varsity VC som med-leder, hvis partner Kamel Zeroual var Delalleaus medstifter i hans første startup, Stribe.

Derfor leder en faststoffysiker og hacker virksomheden

CEO Gaël Delalleau medbringer en usædvanlig baggrund til AI-infrastruktur: faststoffysik og offensiv cybersikkerhed.

• Faststoffysik trænede ham i at ræsonnere ud fra første principper om, hvordan fysisk hardware opfører sig på et lavt niveau – elektroner, hukommelsesbåndbredde, transistor-niveau begrænsninger. Hans team behandler GPU-optimering som et fysikproblem snarere end et softwareingeniørproblem.
• Offensiv cybersikkerhed gav ham en mentalitet med modstanderens omvendte konstruktion. Kogs motor undersøger GPU'er på assembly- og binært niveau og finder skjult kapacitet, som standarddrivere og biblioteker ikke udnytter – en klassisk "angriber-tankegang" anvendt på hardwareydelse.
• Delalleau er ikke en traditionel ML-forsker; hans første startup (Stribe, en TechCrunch50 2009-deltager) var ikke relateret til AI. Han beskriver sig selv som en første-principper-tænker, der designer algoritmer og strukturer fra hardwaren og op.

Skaleringsudfordringer: teamstørrelse, chip-support og modelskala

Kog står over for tre betydelige skaleringshurdler:

• Teamstørrelse: Med kun 11 ansatte er det arbejdskrævende at portere den dybt håndoptimerede monokernel til nye GPU-arkitekturer.
• Understøttelse af nye chips: Motoren understøtter i øjeblikket kun AMD MI300X og NVIDIA H200. Hver ny GPU kræver manuel omvendt konstruktion på assembly-niveau. CEO Delalleau anerkender, at dette er en flaskehals, selvom han forventer, at nyere GPU-arkitekturer med højere hukommelsesbåndbredde vil være lettere mål.
• Modelskala: At skalere fra 2B-parameters modeller til fuldskala LLM'er (70B+) udgør ifølge Delalleau "et kæmpe spring." De teknikker, der virker for en lille model, kan ikke nødvendigvis overføres til meget større hukommelses- og beregningsfodaftryk.

Den afgørende milepæl: store sprogmodeller

Kogs næste kritiske milepæl er at bevise, at deres tilgang virker på store sprogmodeller (70B+ parametre). CEO Delalleau har udtalt, at virksomheden nu fokuserer på at skalere sine teknikker til fuldskala LLM'er. Tilliden kommer fra nyere GPU-arkitekturer med væsentligt højere hukommelsesbåndbredde – en ressource, Kog mener forbliver fundamentalt underudnyttet af standard software-stakke. Virksomheden har ikke annonceret en specifik dato, men demonstrationen betragtes bredt som det altafgørende bevis for hele tesen.