Kog: inferencia de LLM 30 veces más rápida con solo software en GPUs que ya tienes

Kog es una startup francesa que afirma conseguir hasta 30 veces más rapidez en la inferencia de grandes modelos de lenguaje (LLM) en GPUs de datacenter convencionales. Lo logra mediante una pila de optimización puramente software que codiseña una arquitectura de modelo propia (Laneformer), un motor de inferencia de un solo kernel (KIE) y una capa de comunicación personalizada (KCCL) para eliminar cualquier fuente de bloqueo en el bucle de decodificación.

En lugar de construir ASICs personalizados o adquirir hardware exótico, Kog trata tres capas como un solo sistema codiseñado:

• Monokernel (un único kernel CUDA persistente): Todo el paso de decodificación del LLM se ejecuta como un kernel persistente, sin lanzamientos de kernel ni interrupciones entre capas, eliminando por completo la sobrecarga de lanzamiento de la GPU.
• Paralelismo de Tensores Retardado (DTP): El paralelismo de tensores estándar bloquea una operación all-reduce en cada capa. Kog retrasa cada all-reduce en δ=2 capas, solapando la comunicación con el cómputo y la transmisión de pesos, de modo que las GPUs nunca estén ociosas esperando datos.
• Arquitectura Transformer estructurada en carriles: Laneformer divide el modelo en 8 "carriles" paralelos que se alinean con el programa de comunicación del DTP, permitiendo al motor ocultar perfectamente la sobrecarga del paralelismo de tensores.
• Capa de comunicación personalizada (KCCL): Sustituye a NCCL/RCCL estándar para conseguir un paralelismo de tensores de menor latencia y escalado lineal entre GPUs.
• Optimización a nivel de ensamblador: Kog trabaja a nivel de C++/ensamblador en lugar de apilar ajustes sobre CUDA o ROCm, optimizando cada ciclo de ancho de banda de memoria y utilización de cómputo de la GPU.

Laneformer 2B: Resultados demostrados

Kog publicó en código abierto Laneformer 2B (2.300 millones de parámetros), un modelo de codificación ajustado por instrucciones diseñado para velocidad de decodificación antes que para puntuaciones brutas en benchmarks. Estas velocidades son aproximadamente 10 veces más rápidas que el rendimiento típico de vLLM para un modelo de este tamaño.

Métrica	Resultado
Velocidad de decodificación en 8× AMD MI300X	3.000 tokens/s de salida por petición (FP16, batch size 1)
Velocidad de decodificación en 8× NVIDIA H200	2.100 tokens/s de salida por petición (FP16, batch size 1)
HumanEval+ (greedy)	45,1%
MBPP+ (greedy)	51,6%
Método	Sin cuantización, sin decodificación especulativa, sin poda

Próximos hitos de escalado

La vista previa técnica pública de Kog funciona con un modelo de 2B. La compañía ahora compite por escalar sus técnicas:

• Objetivo a corto plazo: Demostrar una mejora de 10x en un modelo de tamaño industrial importante (por ejemplo, 70B+ denso o MoE). La empresa espera alcanzarlo en los próximos meses.
• Ambición a largo plazo: Demostrar que su enfoque puede ofrecer inferencia 30 veces más rápida en grandes modelos MoE de frontera a velocidades similares a las conseguidas con Laneformer 2B. Kog ha argumentado públicamente que sus técnicas de DTP y monokernel escalan favorablemente a arquitecturas MoE.
• Desde su lanzamiento en mayo de 2026, Kog afirma haber generado más de 200 contactos comerciales tangibles y estar totalmente centrada en el soporte de modelos más grandes para satisfacer la demanda empresarial.

Comparación con competidores

ZML — También una startup francesa de IA (avalada por Yann LeCun), ZML toma un enfoque diferente: lanzó LLMD, un motor de inferencia gratuito que permite ejecutar muchos modelos de código abierto en una gran variedad de chips (NVIDIA, AMD, TPU de Google, Apple Metal, Intel Arc) utilizando un enfoque unificado basado en compiladores. ZML prioriza la portabilidad del hardware y el soporte multi-chip frente a la latencia extrema de una sola petición. Kog, por el contrario, está diseñado específicamente para la máxima reducción de latencia en GPUs de datacenter de gama alta concretas (MI300X, H200) mediante una optimización profunda y específica del hardware.

Cerebras — Utiliza una estrategia fundamentalmente centrada en el hardware: el Wafer-Scale Engine (WSE-3), un chip masivo único que elimina la necesidad de comunicación entre múltiples GPUs. Cerebras consigue ~2.100 tokens/s en Llama 3.1 70B (batch 1) en su hardware WSE-3 — notablemente, esa velocidad es para un modelo de 70B, no de 2B.

Dimensión	Kog	Cerebras
Enfoque	Solo software en GPUs estándar	Hardware personalizado a escala de oblea
Mejor demo	3.000 tok/s en un modelo de 2B	~2.100 tok/s en modelo de 70B
Afirmación de latencia	Busca 30x en modelos de frontera	~4x vs H100 en modelos de 70B
Coste de hardware	Usa infraestructura GPU existente	Requiere sistemas CS-3 propietarios
Madurez	Etapa inicial (vista previa técnica, solo 2B)	Grado de producción para varios modelos abiertos

Advertencia clave: El resultado de 3.000 tok/s de Kog es en un modelo de 2.300 millones de parámetros, un orden de magnitud más pequeño que los modelos de 70B que Cerebras sirve a velocidades comparables. Kog aún tiene que demostrar su afirmación de 30x a escala. El próximo hito de la compañía (10x en un modelo industrial grande) será el punto de prueba crítico.