Kog Inference Engine: Software francês faz GPUs comuns gerarem 3.000 tokens/s — 30x mais rápido que o normal

A inovação central é um monokernel — um único programa persistente que roda na GPU e executa todo o passo de decodificação do LLM (preenchimento, decodificação, amostragem do LM-head) de uma só vez, eliminando a sobrecarga de lançamento de kernel por token que atormenta as pilhas padrão . Estruturas de inferência comuns como vLLM, SGLang e TensorRT-LLM lançam um kernel de GPU por token, cada um pagando cerca de 4,5 μs de sobrecarga de lançamento mais a latência de reinicialização da HBM . A engine da Kog ignora as bibliotecas de comunicação padrão e elimina as sincronizações de grade que, segundo suas medições, consumiam 35% do tempo de geração por token .

A alegação de "30x mais rápido" é calibrada contra velocidades típicas de decodificação de 100–300 tokens/s para modelos de 2B a 8B em GPUs de ponta, em comparação com os 3.000 tokens/s da Kog .

Resultados da prévia técnica e limitações claras

Resultados:

• 3.000+ tokens de saída por segundo por requisição em um único nó de 8× AMD MI300X com o modelo Laneformer 2B (FP16, lote de tamanho 1, sem decodificação especulativa)
• 2.100 tokens de saída/s por requisição em 8× NVIDIA H200 nas mesmas condições
• Latência de usuário único baixa o suficiente para uso interativo em tempo real — a demonstração foi ao ar em playground.kog.ai
• O modelo Laneformer 2B alcançou 45,1% no HumanEval+ e 51,6% no MBPP+ em decodificação gulosa

Limitações:

• A prévia executou apenas um modelo de 2,3B parâmetros (Laneformer 2B). Modelos maiores não foram demonstrados
• Era usuário único, requisição única — não uma configuração de produção com múltiplos usuários em lote, e não mostrou throughput sob carga concorrente
• Apenas dois tipos de GPU eram suportados: AMD MI300X e NVIDIA H200
• Com 11 funcionários, a empresa é muito pequena para a escala de sua ambição

Casos de uso alvo e tração comercial inicial

A Kog tem como alvo três cenários principais:

• Fluxos de trabalho de IA agentiva — a empresa argumenta que as GPUs são mal adaptadas às demandas iterativas e de baixa latência dos agentes de IA, e que sua engine resolve isso
• Inferência de LLM em tempo real — copilotos de programação, chatbots e aplicações onde a latência de submilissegundos por token é importante
• Inferência corporativa auto-hospedada — empresas que já possuem GPUs de datacenter e querem evitar a compra de hardware de inferência dedicado

No lado comercial, a Kog relatou mais de 200 leads de negócios tangíveis em agosto de 2026, de acordo com o CEO Delalleau . A prévia técnica chegou à primeira página do Hacker News em maio de 2026 . A empresa levantou uma rodada seed co-liderada pela Varsity VC, cujo sócio Kamel Zeroual foi co-fundador de Delalleau em sua primeira startup, Stribe .

Por que um físico do estado sólido virou hacker comanda esta empresa

O CEO Gaël Delalleau traz uma formação incomum para a infraestrutura de IA: física do estado sólido e segurança cibernética ofensiva .

• Física do estado sólido o treinou para raciocinar a partir de primeiros princípios sobre como o hardware físico se comporta em baixo nível — elétrons, largura de banda da memória, restrições em nível de transistor. Sua equipe trata a otimização de GPU como um problema de física, e não de engenharia de software
• Segurança cibernética ofensiva lhe deu uma mentalidade de engenharia reversa adversarial. A engine da Kog examina as GPUs nos níveis de assembly e binário, encontrando margem oculta que drivers e bibliotecas padrão não expõem — uma clássica "mentalidade de atacante" aplicada ao desempenho de hardware
• Delalleau não é um pesquisador de ML tradicional; sua primeira startup (Stribe, um dos finalistas do TechCrunch50 de 2009) não era relacionada a IA. Ele se descreve como um pensador de primeiros princípios que projeta algoritmos a partir do hardware

Desafios de escala: tamanho da equipe, suporte a chips e escala do modelo

A Kog enfrenta três obstáculos significativos de escala:

• Tamanho da equipe: Com apenas 11 funcionários, portar seu monokernel profundamente otimizado à mão para novas arquiteturas de GPU exige muito trabalho
• Suporte a novos chips: A engine atualmente suporta apenas AMD MI300X e NVIDIA H200. Cada nova GPU requer engenharia reversa manual em nível de assembly. O CEO Delalleau reconhece que isso é um gargalo, embora espere que arquiteturas de GPU mais novas, com maior largura de banda de memória, sejam alvos mais fáceis
• Escala do modelo: A escalabilidade de modelos de 2B parâmetros para LLMs completos (70B+) representa o que Delalleau chama de "um salto enorme." As técnicas que funcionam para um modelo pequeno podem não se estender trivialmente para pegadas de memória e computação muito maiores

O marco decisivo: grandes modelos de linguagem

O próximo marco crítico da Kog é provar que sua abordagem funciona em grandes modelos de linguagem (70B+ parâmetros). O CEO Delalleau afirmou que a empresa está agora focada em escalar suas técnicas para LLMs de porte completo. A confiança vem de arquiteturas de GPU mais novas com largura de banda de memória substancialmente maior — um recurso que a Kog acredita permanecer fundamentalmente subutilizado pelas pilhas de software padrão . A empresa não anunciou uma data específica, mas esta demonstração é amplamente vista como o ponto de prova decisivo para toda a tese.

Nota: O artigo foi adaptado para o português brasileiro, com ajustes de moeda (dólar) e referências culturais (TechCrunch) mantidas por serem reconhecidas globalmente, e a inclusão de contexto sobre empresas como Cerebras, Groq e SambaNova para esclarecer o posicionamento da Kog.