Kog sfida Cerebras: 3.000 token al secondo su GPU standard grazie al software

L'industria AI ha speso miliardi per rincorrere chip più veloci. La startup parigina Kog AI scommette che il vero problema fosse un altro — e la sua tech preview del maggio 2026 suggerisce che la scommessa potrebbe reggere.

Kog (Kog AI) è una startup francese di infrastruttura AI fondata nel 2023 da Gaël Delalleau. Il suo prodotto principale è il Kog Inference Engine (KIE), un motore di inferenza puramente software che accelera drasticamente l'inferenza dei LLM su GPU standard per datacenter, senza bisogno di chip custom . L'azienda è uscita dalla modalità stealth nel maggio 2025 e ha lanciato una tech preview pubblica il 28 maggio 2026 .

Software contro silicio: la scommessa di Kog contro l'hardware dedicato

Cerebras produce chip wafer-scale su misura. Groq e SambaNova seguono percorsi simili, incentrati sull'hardware. Kog punta sulla scommessa opposta: una quantità enorme di prestazioni inespresse nelle GPU esistenti viene sprecata da stack software inefficienti, e un'ottimizzazione software profonda può eguagliare o superare le velocità dell'hardware dedicato senza nuovi chip .

L'innovazione chiave è un monokernel — un singolo programma persistente residente sulla GPU che esegue l'intero passaggio di decoding del LLM (prefill, decode, sampling dalla testa LM) in un colpo solo, eliminando il sovraccarico del lancio di un kernel per ogni token che affligge gli stack standard . I framework standard come vLLM, SGLang e TensorRT-LLM lanciano un kernel GPU per token, ciascuno con un overhead di lancio di circa 4,5 μs più la latenza di riavvio dell'HBM . Il motore di Kog bypassa le librerie di comunicazione standard ed elimina le sincronizzazioni di griglia, misurate come causa del 35% del tempo di generazione per token .

L'affermazione "30 volte più veloce" è calibrata rispetto alle velocità tipiche di decoding di 100–300 token/s per modelli da 2 a 8 miliardi di parametri su GPU di fascia alta, confrontate con i 3.000 token/s di Kog .

Risultati e limiti della tech preview

Risultati:

• Oltre 3.000 token di output al secondo per richiesta su un singolo nodo 8× AMD MI300X con il modello Laneformer 2B (FP16, batch size 1, nessun decoding speculativo)
• 2.100 token di output al secondo per richiesta su 8× NVIDIA H200 nelle stesse condizioni
• Latenza per singolo utente abbastanza bassa per un uso interattivo in tempo reale — la demo era accessibile su playground.kog.ai
• Il modello Laneformer 2B ha raggiunto il 45,1% su HumanEval+ e il 51,6% su MBPP+ in decoding greedy

Limiti:

• La preview funzionava solo su un modello da 2,3 miliardi di parametri (Laneformer 2B). Modelli più grandi non sono stati dimostrati
• Era monoutente, monorichiesta — non un setup di produzione multi-utente con batch, e non ha mostrato la produttività sotto carico concorrente
• Solo due tipi di GPU supportati: AMD MI300X e NVIDIA H200
• Con soli 11 dipendenti, l'azienda è molto piccola per l'ambizione che si prefigge

Casi d'uso target e primi risultati commerciali

Kog punta a tre scenari principali:

• Flussi di lavoro agente AI — l'azienda sostiene che le GPU sono inadatte alle esigenze iterative e a bassa latenza degli agenti AI e che il suo motore risolve il problema
• Inferenza LLM in tempo reale — copiloti di programmazione, chatbot e applicazioni in cui la latenza sotto i 100 ms per token è critica
• Inferenza enterprise self-hosted — aziende che possiedono già GPU per datacenter e vogliono evitare di acquistare hardware di inferenza dedicato

Sul fronte commerciale, Kog ha dichiarato di aver raccolto oltre 200 lead commerciali concreti ad agosto 2026, secondo il CEO Delalleau . La tech preview ha raggiunto la prima pagina di Hacker News nel maggio 2026 . L'azienda ha chiuso un seed round co-guidato da Varsity VC, il cui partner Kamel Zeroual era stato co-fondatore di Delalleau nella sua prima startup, Stribe .

Perché un fisico dello stato solido diventato hacker guida questa azienda

Il CEO Gaël Delalleau porta un background insolito nell'infrastruttura AI: fisica dello stato solido e sicurezza informatica offensiva .

• La fisica dello stato solido lo ha formato a ragionare dai primi principi su come si comporta l'hardware fisico a basso livello — elettroni, larghezza di banda della memoria, vincoli a livello di transistor. Il suo team tratta l'ottimizzazione delle GPU come un problema di fisica, non di ingegneria software
• La sicurezza informatica offensiva gli ha dato una mentalità di reverse engineering adversarial. Il motore di Kog esamina le GPU a livello di assembly e binario, trovando potenziale inespresso che driver e librerie standard non espongono — una classica "mentalità da attaccante" applicata alle prestazioni hardware
• Delalleau non è un ricercatore ML tradizionale; la sua prima startup (Stribe, alumni TechCrunch50 2009) non era legata all'AI. Si descrive come un pensatore di primi principi che progetta algoritmi partendo dall'hardware

Sfide di scalabilità: dimensioni del team, supporto per nuovi chip e scala dei modelli

Kog deve affrontare tre ostacoli significativi di scalabilità:

• Dimensioni del team: con soli 11 dipendenti, il porting del suo monokernel profondamente ottimizzato a mano su nuove architetture GPU è un lavoro intensivo
• Supporto per nuovi chip: il motore supporta attualmente solo AMD MI300X e NVIDIA H200. Ogni nuova GPU richiede un reverse engineering manuale a livello assembly. Il CEO Delalleau riconosce che questo è un collo di bottiglia, anche se si aspetta che le architetture GPU più recenti con maggiore larghezza di banda della memoria siano obiettivi più semplici
• Scala dei modelli: passare da modelli da 2 miliardi di parametri a LLM su larga scala (70 miliardi+) rappresenta quello che Delalleau chiama "un salto enorme." Le tecniche che funzionano per un modello piccolo potrebbero non estendersi facilmente a impronte di memoria e calcolo molto più grandi

La tappa spartiacque: i modelli di linguaggio di grandi dimensioni

Il prossimo traguardo critico per Kog è dimostrare che il suo approccio funziona su modelli linguistici di grandi dimensioni (70 miliardi+ parametri). Il CEO Delalleau ha dichiarato che l'azienda è ora concentrata sul portare le sue tecniche ai LLM su scala reale. La fiducia deriva dalle architetture GPU più recenti con larghezza di banda della memoria sostanzialmente maggiore — una risorsa che Kog ritiene rimanga fondamentalmente sottoutilizzata dagli stack software standard . L'azienda non ha annunciato una data specifica, ma questa dimostrazione è ampiamente considerata come il punto di prova decisivo per l'intera tesi.