Kog: 3.000 tokens por segundo en GPUs estándar, sin chips especializados

La industria de la IA ha gastado miles de millones persiguiendo chips más rápidos. La startup parisina Kog AI apuesta a que estaban resolviendo el problema equivocado —y su avance técnico de mayo de 2026 sugiere que la apuesta podría tener fundamento.

Kog (Kog AI) es una startup francesa de infraestructura de IA fundada en 2023 por Gaël Delalleau. Su producto estrella es el Kog Inference Engine (KIE), un motor de inferencia puramente software que acelera drásticamente la inferencia de grandes modelos de lenguaje (LLMs) en GPUs de datacenter estándar, sin necesidad de silicio personalizado . La compañía salió del sigilo en mayo de 2025 y lanzó un avance técnico público el 28 de mayo de 2026 .

Software vs. Silicio: La apuesta de Kog contra el hardware dedicado

Cerebras fabrica chips masivos del tamaño de una oblea. Groq y SambaNova siguen caminos similares, priorizando el hardware. Kog apuesta por lo contrario: sostiene que las GPUs existentes tienen un enorme margen de rendimiento sin explotar debido a pilas de software ineficientes, y que una optimización profunda del software puede igualar o superar las velocidades del hardware dedicado sin necesidad de nuevos chips .

La innovación central es un monokernel —un único programa persistente en la GPU que ejecuta todo el proceso de decodificación del LLM (prefill, decode, muestreo del LM-head) de una sola vez, eliminando la sobrecarga de lanzar un kernel por cada token que afecta a las pilas estándar . Los frameworks de inferencia habituales como vLLM, SGLang y TensorRT-LLM lanzan un kernel de GPU por token, pagando aproximadamente 4,5 μs de sobrecarga por lanzamiento más la latencia de reinicio de la memoria HBM . El motor de Kog evita las librerías de comunicación estándar y elimina las sincronizaciones de cuadrícula que, según sus mediciones, consumían el 35% del tiempo de generación por token .

La afirmación de ser "30 veces más rápido" se calcula comparando las velocidades típicas de decodificación de 100–300 tokens/s para modelos de 2B a 8B parámetros en GPUs de gama alta, frente a los 3.000 tokens/s de Kog .

Resultados del avance técnico y limitaciones claras

Resultados:

• Más de 3.000 tokens de salida por segundo por solicitud en un solo nodo de 8 GPUs AMD MI300X con el modelo Laneformer 2B (FP16, batch size 1, sin decodificación especulativa) .
• 2.100 tokens de salida/s por solicitud en 8 GPUs NVIDIA H200 en las mismas condiciones .
• Latencia para un solo usuario lo suficientemente baja para uso interactivo en tiempo real —la demostración se publicó en playground.kog.ai .
• El modelo Laneformer 2B alcanzó un 45,1% en HumanEval+ y un 51,6% en MBPP+ en decodificación voraz .

Limitaciones:

• El avance solo funcionó con un modelo de 2.300 millones de parámetros (Laneformer 2B). No se demostró con modelos más grandes .
• Fue para una sola solicitud y un solo usuario —no era una configuración de producción con múltiples usuarios y lotes, y no mostró rendimiento bajo carga concurrente .
• Solo se admitieron dos tipos de GPU: AMD MI300X y NVIDIA H200 .
• Con solo 11 empleados, la empresa es muy pequeña para la magnitud de su ambición .

Casos de uso objetivo y tracción comercial inicial

Kog se dirige a tres escenarios principales:

• Flujos de trabajo de IA agéntica: la empresa argumenta que las GPUs no son adecuadas para las demandas iterativas y de baja latencia de los agentes de IA, y que su motor soluciona esto .
• Inferencia de LLM en tiempo real: asistentes de codificación, chatbots y aplicaciones donde la latencia por token por debajo de 100 ms es crítica .
• Inferencia empresarial auto-gestionada: empresas que ya poseen GPUs de datacenter y quieren evitar comprar hardware de inferencia dedicado .

En el plano comercial, Kog reportó más de 200 clientes potenciales tangibles en agosto de 2026, según su CEO Delalleau . El avance técnico llegó a la portada de Hacker News en mayo de 2026 . La empresa ha recaudado una ronda semilla co-liderada por Varsity VC, cuyo socio Kamel Zeroual fue cofundador de Delalleau en su primera startup, Stribe .

Por qué un físico del estado sólido convertido en hacker dirige esta empresa

El CEO Gaël Delalleau aporta una formación inusual a la infraestructura de IA: física del estado sólido y ciberseguridad ofensiva .

• La física del estado sólido le enseñó a razonar desde primeros principios sobre cómo se comporta el hardware físico a bajo nivel —electrones, ancho de banda de memoria, restricciones a nivel de transistores. Su equipo trata la optimización de GPUs como un problema de física, no de ingeniería de software .
• La ciberseguridad ofensiva le dio una mentalidad de ingeniería inversa adversarial. El motor de Kog examina las GPUs a nivel de ensamblador y binario, encontrando márgenes ocultos que los controladores y librerías estándar no exponen —una "mentalidad de atacante" aplicada al rendimiento del hardware .
• Delalleau no es un investigador de ML tradicional; su primera startup (Stribe, alumna de TechCrunch50 2009) no estaba relacionada con la IA. Se describe a sí mismo como un pensador de primeros principios que diseña algoritmos desde el hardware hacia arriba .

Desafíos de escalado: Tamaño del equipo, soporte de chips y escala del modelo

Kog se enfrenta a tres obstáculos importantes de escalado:

• Tamaño del equipo: Con solo 11 empleados, portar su monokernel profundamente optimizado a nuevas arquitecturas de GPU requiere mucho trabajo manual .
• Soporte de nuevos chips: El motor actualmente solo es compatible con AMD MI300X y NVIDIA H200. Cada nueva GPU requiere ingeniería inversa manual a nivel de ensamblador. El CEO Delalleau reconoce que esto es un cuello de botella, aunque espera que las nuevas arquitecturas de GPU con mayor ancho de banda de memoria sean objetivos más fáciles .
• Escala del modelo: Pasar de modelos de 2B parámetros a LLMs completos (70B+) representa, según Delalleau, "un salto enorme." Las técnicas que funcionan para un modelo pequeño pueden no extenderse trivialmente a huellas de memoria y cómputo mucho mayores .

El hito decisivo: Grandes modelos de lenguaje

El próximo hito crítico de Kog es demostrar que su enfoque funciona en grandes modelos de lenguaje (70B+ parámetros). El CEO Delalleau ha declarado que la empresa ahora se centra en escalar sus técnicas a LLMs de tamaño completo. La confianza proviene de las nuevas arquitecturas de GPU con un ancho de banda de memoria sustancialmente mayor, un recurso que Kog cree que sigue estando fundamentalmente infrautilizado por las pilas de software estándar . La compañía no ha anunciado una fecha concreta, pero esta demostración se considera ampliamente como la prueba de fuego de toda su tesis.