Kog vs. o Teto das GPUs: Software Pode Entregar Inferência de LLM 30x Mais Rápida
A Kog alcança 3.000 tokens/s por requisição em um nó com 8 GPUs AMD MI300X usando um motor de inferência puramente de software — sem hardware personalizado, sem quantização e sem decodificação especulativa — por meio... Sua inovação principal, o Paralelismo de Tensor Atrasado (DTP), adia a operação all reduce entre...
Publicado porEditado com DeepSeek-V4-FlashImagens geradas com GPT Image 1.5
A Kog alcança 3.000 tokens/s por requisição em um nó com 8 GPUs AMD MI300X usando um motor de inferência puramente de software — sem hardware personalizado, sem quantização e sem decodificação especulativa — por meio...
Sua inovação principal, o Paralelismo de Tensor Atrasado (DTP), adia a operação all reduce entre GPUs em 2 camadas para sobrepor a comunicação com o cálculo, eliminando as paradas que afligem o paralelismo de tensor p...
A Kog ainda não demonstrou sua reivindicação total de 30x em escala (sua melhor demonstração é em um modelo de 2B parâmetros, não em um modelo de fronteira de 70B+); o próximo ponto crítico de prova será uma melhoria...
What is Kog's approach to achieving up to 30x faster LLM inference on existing GPUs, how does its software-first strategy work, what resultsKog's software-only strategy eliminates GPU stalls through co-designed model architecture and kernel design.
Prompt de IA
Create a landscape editorial hero image for this Studio Global article: What is Kog's approach to achieving up to 30x faster LLM inference on existing GPUs, how does its software-first strategy work, what results. Article summary: ## Kog's Approach and Results. Topic tags: general, documentation, general web, user generated, academic. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fake numbers, clickbait thumbnails, icons, and tiny thumbnail layouts. Make it useful as an illustrative visual, not as factual evidence.
openai.com
A Kog, uma startup francesa, afirma ser capaz de obter uma inferência de LLM até 30x mais rápida em GPUs de datacenter existentes por meio de uma pilha de otimização profunda focada em software. A estratégia envolve o co-design de uma arquitetura de modelo personalizada (Laneformer), um motor de inferência de kernel único (KIE) e uma camada de comunicação customizada (KCCL) para eliminar todas as fontes de travamento no loop de decodificação.
Em vez de construir ASICs personalizados ou adquirir hardware exótico, a Kog trata três camadas como um único sistema co-projetado:
Monokernel (kernel CUDA persistente único): Todo o passo de decodificação do LLM é executado como um único kernel persistente, sem lançamentos de kernel ou interrupções entre as camadas, eliminando completamente a sobrecarga de lançamento da GPU.
Studio Global AI
Continue sua pesquisa
Esta página inclui uma resposta baseada na fonte que você pode continuar em Studio Global.
Qual é a resposta curta para "Kog vs. o Teto das GPUs: Software Pode Entregar Inferência de LLM 30x Mais Rápida"?
A Kog alcança 3.000 tokens/s por requisição em um nó com 8 GPUs AMD MI300X usando um motor de inferência puramente de software — sem hardware personalizado, sem quantização e sem decodificação especulativa — por meio...
Quais são os pontos-chave para validar primeiro?
A Kog alcança 3.000 tokens/s por requisição em um nó com 8 GPUs AMD MI300X usando um motor de inferência puramente de software — sem hardware personalizado, sem quantização e sem decodificação especulativa — por meio... Sua inovação principal, o Paralelismo de Tensor Atrasado (DTP), adia a operação all reduce entre GPUs em 2 camadas para sobrepor a comunicação com o cálculo, eliminando as paradas que afligem o paralelismo de tensor p...
O que devo fazer a seguir na prática?
A Kog ainda não demonstrou sua reivindicação total de 30x em escala (sua melhor demonstração é em um modelo de 2B parâmetros, não em um modelo de fronteira de 70B+); o próximo ponto crítico de prova será uma melhoria...
Kog vs. o Teto das GPUs: Software Pode Entregar Inferência de LLM 30x Mais Rápida
A Kog alcança 3.000 tokens/s por requisição em um nó com 8 GPUs AMD MI300X usando um motor de inferência puramente de software — sem hardware personalizado, sem quantização e sem decodificação especulativa — por meio... Sua inovação principal, o Paralelismo de Tensor Atrasado (DTP), adia a operação all reduce entre...
Publicado porEditado com DeepSeek-V4-FlashImagens geradas com GPT Image 1.5
A Kog alcança 3.000 tokens/s por requisição em um nó com 8 GPUs AMD MI300X usando um motor de inferência puramente de software — sem hardware personalizado, sem quantização e sem decodificação especulativa — por meio...
Sua inovação principal, o Paralelismo de Tensor Atrasado (DTP), adia a operação all reduce entre GPUs em 2 camadas para sobrepor a comunicação com o cálculo, eliminando as paradas que afligem o paralelismo de tensor p...
A Kog ainda não demonstrou sua reivindicação total de 30x em escala (sua melhor demonstração é em um modelo de 2B parâmetros, não em um modelo de fronteira de 70B+); o próximo ponto crítico de prova será uma melhoria...
What is Kog's approach to achieving up to 30x faster LLM inference on existing GPUs, how does its software-first strategy work, what resultsKog's software-only strategy eliminates GPU stalls through co-designed model architecture and kernel design.
Prompt de IA
Create a landscape editorial hero image for this Studio Global article: What is Kog's approach to achieving up to 30x faster LLM inference on existing GPUs, how does its software-first strategy work, what results. Article summary: ## Kog's Approach and Results. Topic tags: general, documentation, general web, user generated, academic. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fake numbers, clickbait thumbnails, icons, and tiny thumbnail layouts. Make it useful as an illustrative visual, not as factual evidence.
openai.com
A Kog, uma startup francesa, afirma ser capaz de obter uma inferência de LLM até 30x mais rápida em GPUs de datacenter existentes por meio de uma pilha de otimização profunda focada em software. A estratégia envolve o co-design de uma arquitetura de modelo personalizada (Laneformer), um motor de inferência de kernel único (KIE) e uma camada de comunicação customizada (KCCL) para eliminar todas as fontes de travamento no loop de decodificação.
Em vez de construir ASICs personalizados ou adquirir hardware exótico, a Kog trata três camadas como um único sistema co-projetado:
Monokernel (kernel CUDA persistente único): Todo o passo de decodificação do LLM é executado como um único kernel persistente, sem lançamentos de kernel ou interrupções entre as camadas, eliminando completamente a sobrecarga de lançamento da GPU.
Studio Global AI
Continue sua pesquisa
Esta página inclui uma resposta baseada na fonte que você pode continuar em Studio Global.
Qual é a resposta curta para "Kog vs. o Teto das GPUs: Software Pode Entregar Inferência de LLM 30x Mais Rápida"?
A Kog alcança 3.000 tokens/s por requisição em um nó com 8 GPUs AMD MI300X usando um motor de inferência puramente de software — sem hardware personalizado, sem quantização e sem decodificação especulativa — por meio...
Quais são os pontos-chave para validar primeiro?
A Kog alcança 3.000 tokens/s por requisição em um nó com 8 GPUs AMD MI300X usando um motor de inferência puramente de software — sem hardware personalizado, sem quantização e sem decodificação especulativa — por meio... Sua inovação principal, o Paralelismo de Tensor Atrasado (DTP), adia a operação all reduce entre GPUs em 2 camadas para sobrepor a comunicação com o cálculo, eliminando as paradas que afligem o paralelismo de tensor p...
O que devo fazer a seguir na prática?
A Kog ainda não demonstrou sua reivindicação total de 30x em escala (sua melhor demonstração é em um modelo de 2B parâmetros, não em um modelo de fronteira de 70B+); o próximo ponto crítico de prova será uma melhoria...
Paralelismo de Tensor Atrasado (DTP): O paralelismo de tensor padrão bloqueia em uma operação all-reduce a cada camada. A Kog atrasa cada all-reduce em δ=2 camadas, sobrepondo a comunicação com o cálculo e o streaming de pesos, para que as GPUs nunca fiquem ociosas esperando por dados.
Arquitetura Transformer estruturada em pistas (lanes): O Laneformer divide o modelo em 8 "pistas" paralelas que se alinham com o cronograma de comunicação do DTP, permitindo que o motor esconda perfeitamente a sobrecarga do paralelismo de tensor.
Camada de comunicação personalizada (KCCL): Substitui o NCCL/RCCL padrão para alcançar um paralelismo de tensor de latência mais baixa e escala linear entre GPUs.
Otimização em nível de montagem: A Kog trabalha em nível de C++/assembly em vez de empilhar ajustes no CUDA ou ROCm, mirando em cada ciclo de largura de banda de memória GPU e utilização de computação.
Laneformer 2B: Resultados Demonstrados
A Kog disponibilizou como código aberto o Laneformer 2B (2,3 bilhões de parâmetros), um modelo de codificação ajustado por instruções, projetado para velocidade de decodificação em vez de pontuação bruta em benchmarks. Essas velocidades são aproximadamente 10x mais rápidas que a taxa de transferência típica do vLLM para um modelo deste tamanho.
Métrica
Resultado
Velocidade de decodificação em 8× AMD MI300X
3.000 tokens/s de saída por requisição (FP16, batch size 1)
Velocidade de decodificação em 8× NVIDIA H200
2.100 tokens/s de saída por requisição (FP16, batch size 1)
HumanEval+ (guloso)
45,1%
MBPP+ (guloso)
51,6%
Método
Sem quantização, sem decodificação especulativa, sem poda
Próximos Marcos para Escalar
A prévia técnica pública da Kog funciona em um modelo de 2B. A empresa agora corre para escalar suas técnicas:
Meta de curto prazo: Demonstrar uma melhoria de 10x em velocidade em um modelo industrial de grande escala (ex.: 70B+ denso ou MoE). A empresa espera atingir isso nos próximos meses.
Ambição de longo prazo: Mostrar que sua abordagem pode entregar inferência 30x mais rápida em grandes modelos MoE de fronteira em velocidades semelhantes às alcançadas no Laneformer 2B. A Kog argumentou publicamente que suas técnicas de DTP e monokernel escalam favoravelmente para arquiteturas MoE.
Desde o lançamento em maio de 2026, a Kog diz ter gerado mais de 200 leads de negócios tangíveis e está totalmente focada no suporte a modelos maiores para atender à demanda empresarial.
Comparação com Concorrentes
ZML — Também uma startup francesa de IA (endossada por Yann LeCun), a ZML adota uma abordagem diferente: lançou o LLMD, um motor de inferência gratuito que permite que muitos modelos de código aberto sejam executados em uma grande variedade de chips (NVIDIA, AMD, Google TPU, Apple Metal, Intel Arc) usando uma abordagem unificada baseada em compilador. A ZML prioriza a portabilidade de hardware e suporte a múltiplos chips em vez de latência extrema de requisição única. A Kog, por outro lado, é propositalmente construída para a máxima redução de latência em GPUs de datacenter de ponta específicas (MI300X, H200) por meio de otimização profunda e específica de hardware.
Cerebras — Usa uma estratégia fundamentalmente focada em hardware: o Wafer-Scale Engine (WSE-3), um chip único massivo que elimina a necessidade de comunicação multi-GPU. A Cerebras alcança ~2.100 tokens/s no Llama 3.1 70B (batch 1) em seu hardware WSE-3 — notavelmente, essa velocidade é para um modelo de 70B, não um modelo de 2B.
Dimensão
Kog
Cerebras
Abordagem
Apenas software em GPUs padrão
Hardware wafer-scale personalizado
Melhor demonstração
3.000 tok/s em um modelo 2B
~2.100 tok/s em modelo 70B
Alegação de latência
Visa 30x em modelos de fronteira
~4x vs H100 em modelos 70B
Custo de hardware
Usa infraestrutura GPU existente
Requer sistemas CS-3 proprietários
Maturidade
Estágio inicial (prévia técnica, apenas 2B)
Grau de produção para vários modelos abertos
Ressalva importante: O resultado de 3.000 tok/s da Kog é em um modelo de 2,3B de parâmetros — uma ordem de magnitude menor do que os modelos de 70B que a Cerebras atende em velocidades comparáveis. A Kog ainda precisa demonstrar sua alegação de 30x em escala. O próximo marco da empresa (10x em um modelo industrial grande) será o ponto de prova crítico.
Paralelismo de Tensor Atrasado (DTP): O paralelismo de tensor padrão bloqueia em uma operação all-reduce a cada camada. A Kog atrasa cada all-reduce em δ=2 camadas, sobrepondo a comunicação com o cálculo e o streaming de pesos, para que as GPUs nunca fiquem ociosas esperando por dados.
Arquitetura Transformer estruturada em pistas (lanes): O Laneformer divide o modelo em 8 "pistas" paralelas que se alinham com o cronograma de comunicação do DTP, permitindo que o motor esconda perfeitamente a sobrecarga do paralelismo de tensor.
Camada de comunicação personalizada (KCCL): Substitui o NCCL/RCCL padrão para alcançar um paralelismo de tensor de latência mais baixa e escala linear entre GPUs.
Otimização em nível de montagem: A Kog trabalha em nível de C++/assembly em vez de empilhar ajustes no CUDA ou ROCm, mirando em cada ciclo de largura de banda de memória GPU e utilização de computação.
Laneformer 2B: Resultados Demonstrados
A Kog disponibilizou como código aberto o Laneformer 2B (2,3 bilhões de parâmetros), um modelo de codificação ajustado por instruções, projetado para velocidade de decodificação em vez de pontuação bruta em benchmarks. Essas velocidades são aproximadamente 10x mais rápidas que a taxa de transferência típica do vLLM para um modelo deste tamanho.
Métrica
Resultado
Velocidade de decodificação em 8× AMD MI300X
3.000 tokens/s de saída por requisição (FP16, batch size 1)
Velocidade de decodificação em 8× NVIDIA H200
2.100 tokens/s de saída por requisição (FP16, batch size 1)
HumanEval+ (guloso)
45,1%
MBPP+ (guloso)
51,6%
Método
Sem quantização, sem decodificação especulativa, sem poda
Próximos Marcos para Escalar
A prévia técnica pública da Kog funciona em um modelo de 2B. A empresa agora corre para escalar suas técnicas:
Meta de curto prazo: Demonstrar uma melhoria de 10x em velocidade em um modelo industrial de grande escala (ex.: 70B+ denso ou MoE). A empresa espera atingir isso nos próximos meses.
Ambição de longo prazo: Mostrar que sua abordagem pode entregar inferência 30x mais rápida em grandes modelos MoE de fronteira em velocidades semelhantes às alcançadas no Laneformer 2B. A Kog argumentou publicamente que suas técnicas de DTP e monokernel escalam favoravelmente para arquiteturas MoE.
Desde o lançamento em maio de 2026, a Kog diz ter gerado mais de 200 leads de negócios tangíveis e está totalmente focada no suporte a modelos maiores para atender à demanda empresarial.
Comparação com Concorrentes
ZML — Também uma startup francesa de IA (endossada por Yann LeCun), a ZML adota uma abordagem diferente: lançou o LLMD, um motor de inferência gratuito que permite que muitos modelos de código aberto sejam executados em uma grande variedade de chips (NVIDIA, AMD, Google TPU, Apple Metal, Intel Arc) usando uma abordagem unificada baseada em compilador. A ZML prioriza a portabilidade de hardware e suporte a múltiplos chips em vez de latência extrema de requisição única. A Kog, por outro lado, é propositalmente construída para a máxima redução de latência em GPUs de datacenter de ponta específicas (MI300X, H200) por meio de otimização profunda e específica de hardware.
Cerebras — Usa uma estratégia fundamentalmente focada em hardware: o Wafer-Scale Engine (WSE-3), um chip único massivo que elimina a necessidade de comunicação multi-GPU. A Cerebras alcança ~2.100 tokens/s no Llama 3.1 70B (batch 1) em seu hardware WSE-3 — notavelmente, essa velocidade é para um modelo de 70B, não um modelo de 2B.
Dimensão
Kog
Cerebras
Abordagem
Apenas software em GPUs padrão
Hardware wafer-scale personalizado
Melhor demonstração
3.000 tok/s em um modelo 2B
~2.100 tok/s em modelo 70B
Alegação de latência
Visa 30x em modelos de fronteira
~4x vs H100 em modelos 70B
Custo de hardware
Usa infraestrutura GPU existente
Requer sistemas CS-3 proprietários
Maturidade
Estágio inicial (prévia técnica, apenas 2B)
Grau de produção para vários modelos abertos
Ressalva importante: O resultado de 3.000 tok/s da Kog é em um modelo de 2,3B de parâmetros — uma ordem de magnitude menor do que os modelos de 70B que a Cerebras atende em velocidades comparáveis. A Kog ainda precisa demonstrar sua alegação de 30x em escala. O próximo marco da empresa (10x em um modelo industrial grande) será o ponto de prova crítico.
