Kog: inferencia de LLM 30 veces más rápida con solo software en GPUs que ya tienes
Kog consigue 3000 tokens/s por petición en un nodo de 8× AMD MI300X usando solo software — sin hardware a medida, sin cuantización y sin decodificación especulativa — gracias al codiseño de una arquitectura de modelo... Su innovación principal, el Paralelismo de Tensores Retardado (DTP), retrasa la comunicación entr...
Publicado porEditado con DeepSeek-V4-FlashImágenes generadas con GPT Image 1.5
Kog consigue 3000 tokens/s por petición en un nodo de 8× AMD MI300X usando solo software — sin hardware a medida, sin cuantización y sin decodificación especulativa — gracias al codiseño de una arquitectura de modelo...
Su innovación principal, el Paralelismo de Tensores Retardado (DTP), retrasa la comunicación entre GPUs en 2 capas para solaparla con el cómputo, eliminando los cuellos de botella que afectan al paralelismo de tensore...
Kog aún no ha demostrado su afirmación de 30x a escala completa (su mejor demo es en un modelo de 2B parámetros); el próximo hito crítico será una mejora de 10x en un modelo de tamaño industrial en los próximos meses.
What is Kog's approach to achieving up to 30x faster LLM inference on existing GPUs, how does its software-first strategy work, what resultsKog's software-only strategy eliminates GPU stalls through co-designed model architecture and kernel design.
Prompt de IA
Create a landscape editorial hero image for this Studio Global article: What is Kog's approach to achieving up to 30x faster LLM inference on existing GPUs, how does its software-first strategy work, what results. Article summary: ## Kog's Approach and Results. Topic tags: general, documentation, general web, user generated, academic. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fake numbers, clickbait thumbnails, icons, and tiny thumbnail layouts. Make it useful as an illustrative visual, not as factual evidence.
openai.com
Kog es una startup francesa que afirma conseguir hasta 30 veces más rapidez en la inferencia de grandes modelos de lenguaje (LLM) en GPUs de datacenter convencionales. Lo logra mediante una pila de optimización puramente software que codiseña una arquitectura de modelo propia (Laneformer), un motor de inferencia de un solo kernel (KIE) y una capa de comunicación personalizada (KCCL) para eliminar cualquier fuente de bloqueo en el bucle de decodificación.
En lugar de construir ASICs personalizados o adquirir hardware exótico, Kog trata tres capas como un solo sistema codiseñado:
Monokernel (un único kernel CUDA persistente): Todo el paso de decodificación del LLM se ejecuta como un kernel persistente, sin lanzamientos de kernel ni interrupciones entre capas, eliminando por completo la sobrecarga de lanzamiento de la GPU.
Studio Global AI
Continúe su investigación
Esta página incluye una respuesta respaldada por fuentes que puede continuar dentro de Studio Global.
¿Cuál es la respuesta corta a "Kog: inferencia de LLM 30 veces más rápida con solo software en GPUs que ya tienes"?
Kog consigue 3000 tokens/s por petición en un nodo de 8× AMD MI300X usando solo software — sin hardware a medida, sin cuantización y sin decodificación especulativa — gracias al codiseño de una arquitectura de modelo...
¿Cuáles son los puntos clave a validar primero?
Kog consigue 3000 tokens/s por petición en un nodo de 8× AMD MI300X usando solo software — sin hardware a medida, sin cuantización y sin decodificación especulativa — gracias al codiseño de una arquitectura de modelo... Su innovación principal, el Paralelismo de Tensores Retardado (DTP), retrasa la comunicación entre GPUs en 2 capas para solaparla con el cómputo, eliminando los cuellos de botella que afectan al paralelismo de tensore...
¿Qué debo hacer a continuación en la práctica?
Kog aún no ha demostrado su afirmación de 30x a escala completa (su mejor demo es en un modelo de 2B parámetros); el próximo hito crítico será una mejora de 10x en un modelo de tamaño industrial en los próximos meses.
Kog: inferencia de LLM 30 veces más rápida con solo software en GPUs que ya tienes
Kog consigue 3000 tokens/s por petición en un nodo de 8× AMD MI300X usando solo software — sin hardware a medida, sin cuantización y sin decodificación especulativa — gracias al codiseño de una arquitectura de modelo... Su innovación principal, el Paralelismo de Tensores Retardado (DTP), retrasa la comunicación entr...
Publicado porEditado con DeepSeek-V4-FlashImágenes generadas con GPT Image 1.5
Kog consigue 3000 tokens/s por petición en un nodo de 8× AMD MI300X usando solo software — sin hardware a medida, sin cuantización y sin decodificación especulativa — gracias al codiseño de una arquitectura de modelo...
Su innovación principal, el Paralelismo de Tensores Retardado (DTP), retrasa la comunicación entre GPUs en 2 capas para solaparla con el cómputo, eliminando los cuellos de botella que afectan al paralelismo de tensore...
Kog aún no ha demostrado su afirmación de 30x a escala completa (su mejor demo es en un modelo de 2B parámetros); el próximo hito crítico será una mejora de 10x en un modelo de tamaño industrial en los próximos meses.
What is Kog's approach to achieving up to 30x faster LLM inference on existing GPUs, how does its software-first strategy work, what resultsKog's software-only strategy eliminates GPU stalls through co-designed model architecture and kernel design.
Prompt de IA
Create a landscape editorial hero image for this Studio Global article: What is Kog's approach to achieving up to 30x faster LLM inference on existing GPUs, how does its software-first strategy work, what results. Article summary: ## Kog's Approach and Results. Topic tags: general, documentation, general web, user generated, academic. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fake numbers, clickbait thumbnails, icons, and tiny thumbnail layouts. Make it useful as an illustrative visual, not as factual evidence.
openai.com
Kog es una startup francesa que afirma conseguir hasta 30 veces más rapidez en la inferencia de grandes modelos de lenguaje (LLM) en GPUs de datacenter convencionales. Lo logra mediante una pila de optimización puramente software que codiseña una arquitectura de modelo propia (Laneformer), un motor de inferencia de un solo kernel (KIE) y una capa de comunicación personalizada (KCCL) para eliminar cualquier fuente de bloqueo en el bucle de decodificación.
En lugar de construir ASICs personalizados o adquirir hardware exótico, Kog trata tres capas como un solo sistema codiseñado:
Monokernel (un único kernel CUDA persistente): Todo el paso de decodificación del LLM se ejecuta como un kernel persistente, sin lanzamientos de kernel ni interrupciones entre capas, eliminando por completo la sobrecarga de lanzamiento de la GPU.
Studio Global AI
Continúe su investigación
Esta página incluye una respuesta respaldada por fuentes que puede continuar dentro de Studio Global.
¿Cuál es la respuesta corta a "Kog: inferencia de LLM 30 veces más rápida con solo software en GPUs que ya tienes"?
Kog consigue 3000 tokens/s por petición en un nodo de 8× AMD MI300X usando solo software — sin hardware a medida, sin cuantización y sin decodificación especulativa — gracias al codiseño de una arquitectura de modelo...
¿Cuáles son los puntos clave a validar primero?
Kog consigue 3000 tokens/s por petición en un nodo de 8× AMD MI300X usando solo software — sin hardware a medida, sin cuantización y sin decodificación especulativa — gracias al codiseño de una arquitectura de modelo... Su innovación principal, el Paralelismo de Tensores Retardado (DTP), retrasa la comunicación entre GPUs en 2 capas para solaparla con el cómputo, eliminando los cuellos de botella que afectan al paralelismo de tensore...
¿Qué debo hacer a continuación en la práctica?
Kog aún no ha demostrado su afirmación de 30x a escala completa (su mejor demo es en un modelo de 2B parámetros); el próximo hito crítico será una mejora de 10x en un modelo de tamaño industrial en los próximos meses.
Paralelismo de Tensores Retardado (DTP): El paralelismo de tensores estándar bloquea una operación all-reduce en cada capa. Kog retrasa cada all-reduce en δ=2 capas, solapando la comunicación con el cómputo y la transmisión de pesos, de modo que las GPUs nunca estén ociosas esperando datos.
Arquitectura Transformer estructurada en carriles: Laneformer divide el modelo en 8 "carriles" paralelos que se alinean con el programa de comunicación del DTP, permitiendo al motor ocultar perfectamente la sobrecarga del paralelismo de tensores.
Capa de comunicación personalizada (KCCL): Sustituye a NCCL/RCCL estándar para conseguir un paralelismo de tensores de menor latencia y escalado lineal entre GPUs.
Optimización a nivel de ensamblador: Kog trabaja a nivel de C++/ensamblador en lugar de apilar ajustes sobre CUDA o ROCm, optimizando cada ciclo de ancho de banda de memoria y utilización de cómputo de la GPU.
Laneformer 2B: Resultados demostrados
Kog publicó en código abierto Laneformer 2B (2.300 millones de parámetros), un modelo de codificación ajustado por instrucciones diseñado para velocidad de decodificación antes que para puntuaciones brutas en benchmarks. Estas velocidades son aproximadamente 10 veces más rápidas que el rendimiento típico de vLLM para un modelo de este tamaño.
Métrica
Resultado
Velocidad de decodificación en 8× AMD MI300X
3.000 tokens/s de salida por petición (FP16, batch size 1)
Velocidad de decodificación en 8× NVIDIA H200
2.100 tokens/s de salida por petición (FP16, batch size 1)
HumanEval+ (greedy)
45,1%
MBPP+ (greedy)
51,6%
Método
Sin cuantización, sin decodificación especulativa, sin poda
Próximos hitos de escalado
La vista previa técnica pública de Kog funciona con un modelo de 2B. La compañía ahora compite por escalar sus técnicas:
Objetivo a corto plazo: Demostrar una mejora de 10x en un modelo de tamaño industrial importante (por ejemplo, 70B+ denso o MoE). La empresa espera alcanzarlo en los próximos meses.
Ambición a largo plazo: Demostrar que su enfoque puede ofrecer inferencia 30 veces más rápida en grandes modelos MoE de frontera a velocidades similares a las conseguidas con Laneformer 2B. Kog ha argumentado públicamente que sus técnicas de DTP y monokernel escalan favorablemente a arquitecturas MoE.
Desde su lanzamiento en mayo de 2026, Kog afirma haber generado más de 200 contactos comerciales tangibles y estar totalmente centrada en el soporte de modelos más grandes para satisfacer la demanda empresarial.
Comparación con competidores
ZML — También una startup francesa de IA (avalada por Yann LeCun), ZML toma un enfoque diferente: lanzó LLMD, un motor de inferencia gratuito que permite ejecutar muchos modelos de código abierto en una gran variedad de chips (NVIDIA, AMD, TPU de Google, Apple Metal, Intel Arc) utilizando un enfoque unificado basado en compiladores. ZML prioriza la portabilidad del hardware y el soporte multi-chip frente a la latencia extrema de una sola petición. Kog, por el contrario, está diseñado específicamente para la máxima reducción de latencia en GPUs de datacenter de gama alta concretas (MI300X, H200) mediante una optimización profunda y específica del hardware.
Cerebras — Utiliza una estrategia fundamentalmente centrada en el hardware: el Wafer-Scale Engine (WSE-3), un chip masivo único que elimina la necesidad de comunicación entre múltiples GPUs. Cerebras consigue ~2.100 tokens/s en Llama 3.1 70B (batch 1) en su hardware WSE-3 — notablemente, esa velocidad es para un modelo de 70B, no de 2B.
Dimensión
Kog
Cerebras
Enfoque
Solo software en GPUs estándar
Hardware personalizado a escala de oblea
Mejor demo
3.000 tok/s en un modelo de 2B
~2.100 tok/s en modelo de 70B
Afirmación de latencia
Busca 30x en modelos de frontera
~4x vs H100 en modelos de 70B
Coste de hardware
Usa infraestructura GPU existente
Requiere sistemas CS-3 propietarios
Madurez
Etapa inicial (vista previa técnica, solo 2B)
Grado de producción para varios modelos abiertos
Advertencia clave: El resultado de 3.000 tok/s de Kog es en un modelo de 2.300 millones de parámetros, un orden de magnitud más pequeño que los modelos de 70B que Cerebras sirve a velocidades comparables. Kog aún tiene que demostrar su afirmación de 30x a escala. El próximo hito de la compañía (10x en un modelo industrial grande) será el punto de prueba crítico.
Paralelismo de Tensores Retardado (DTP): El paralelismo de tensores estándar bloquea una operación all-reduce en cada capa. Kog retrasa cada all-reduce en δ=2 capas, solapando la comunicación con el cómputo y la transmisión de pesos, de modo que las GPUs nunca estén ociosas esperando datos.
Arquitectura Transformer estructurada en carriles: Laneformer divide el modelo en 8 "carriles" paralelos que se alinean con el programa de comunicación del DTP, permitiendo al motor ocultar perfectamente la sobrecarga del paralelismo de tensores.
Capa de comunicación personalizada (KCCL): Sustituye a NCCL/RCCL estándar para conseguir un paralelismo de tensores de menor latencia y escalado lineal entre GPUs.
Optimización a nivel de ensamblador: Kog trabaja a nivel de C++/ensamblador en lugar de apilar ajustes sobre CUDA o ROCm, optimizando cada ciclo de ancho de banda de memoria y utilización de cómputo de la GPU.
Laneformer 2B: Resultados demostrados
Kog publicó en código abierto Laneformer 2B (2.300 millones de parámetros), un modelo de codificación ajustado por instrucciones diseñado para velocidad de decodificación antes que para puntuaciones brutas en benchmarks. Estas velocidades son aproximadamente 10 veces más rápidas que el rendimiento típico de vLLM para un modelo de este tamaño.
Métrica
Resultado
Velocidad de decodificación en 8× AMD MI300X
3.000 tokens/s de salida por petición (FP16, batch size 1)
Velocidad de decodificación en 8× NVIDIA H200
2.100 tokens/s de salida por petición (FP16, batch size 1)
HumanEval+ (greedy)
45,1%
MBPP+ (greedy)
51,6%
Método
Sin cuantización, sin decodificación especulativa, sin poda
Próximos hitos de escalado
La vista previa técnica pública de Kog funciona con un modelo de 2B. La compañía ahora compite por escalar sus técnicas:
Objetivo a corto plazo: Demostrar una mejora de 10x en un modelo de tamaño industrial importante (por ejemplo, 70B+ denso o MoE). La empresa espera alcanzarlo en los próximos meses.
Ambición a largo plazo: Demostrar que su enfoque puede ofrecer inferencia 30 veces más rápida en grandes modelos MoE de frontera a velocidades similares a las conseguidas con Laneformer 2B. Kog ha argumentado públicamente que sus técnicas de DTP y monokernel escalan favorablemente a arquitecturas MoE.
Desde su lanzamiento en mayo de 2026, Kog afirma haber generado más de 200 contactos comerciales tangibles y estar totalmente centrada en el soporte de modelos más grandes para satisfacer la demanda empresarial.
Comparación con competidores
ZML — También una startup francesa de IA (avalada por Yann LeCun), ZML toma un enfoque diferente: lanzó LLMD, un motor de inferencia gratuito que permite ejecutar muchos modelos de código abierto en una gran variedad de chips (NVIDIA, AMD, TPU de Google, Apple Metal, Intel Arc) utilizando un enfoque unificado basado en compiladores. ZML prioriza la portabilidad del hardware y el soporte multi-chip frente a la latencia extrema de una sola petición. Kog, por el contrario, está diseñado específicamente para la máxima reducción de latencia en GPUs de datacenter de gama alta concretas (MI300X, H200) mediante una optimización profunda y específica del hardware.
Cerebras — Utiliza una estrategia fundamentalmente centrada en el hardware: el Wafer-Scale Engine (WSE-3), un chip masivo único que elimina la necesidad de comunicación entre múltiples GPUs. Cerebras consigue ~2.100 tokens/s en Llama 3.1 70B (batch 1) en su hardware WSE-3 — notablemente, esa velocidad es para un modelo de 70B, no de 2B.
Dimensión
Kog
Cerebras
Enfoque
Solo software en GPUs estándar
Hardware personalizado a escala de oblea
Mejor demo
3.000 tok/s en un modelo de 2B
~2.100 tok/s en modelo de 70B
Afirmación de latencia
Busca 30x en modelos de frontera
~4x vs H100 en modelos de 70B
Coste de hardware
Usa infraestructura GPU existente
Requiere sistemas CS-3 propietarios
Madurez
Etapa inicial (vista previa técnica, solo 2B)
Grado de producción para varios modelos abiertos
Advertencia clave: El resultado de 3.000 tok/s de Kog es en un modelo de 2.300 millones de parámetros, un orden de magnitud más pequeño que los modelos de 70B que Cerebras sirve a velocidades comparables. Kog aún tiene que demostrar su afirmación de 30x a escala. El próximo hito de la compañía (10x en un modelo industrial grande) será el punto de prueba crítico.
