GPU Tavanına Karşı Kog: Sadece Yazılımla 30 Kat Daha Hızlı LLM Çıkarımı Nasıl Mümkün Olabilir?

Kog, Fransız bir girişim olarak, mevcut veri merkezi GPU'larında büyük dil modellerinin (LLM) çıkarımını 30 kata kadar hızlandırabileceğini iddia ediyor. Bu başarıyı, özel bir model mimarisi (Laneformer), tek çekirdekli bir çıkarım motoru (KIE) ve özel bir iletişim katmanı (KCCL) tasarlayarak, kod çözme döngüsündeki her tıkanıklığı ortadan kaldıran, derinlemesine bir yazılım optimizasyonu yığını ile elde ediyor.

Kog, özel ASIC'ler üretmek veya egzotik donanımlar edinmek yerine, üç katmanı tek bir ortak tasarım sistemi olarak ele alıyor:

• Monokernel (tek kalıcı CUDA çekirdeği): LLM kod çözme aşamasının tamamı, katmanlar arasında herhangi bir çekirdek başlatma veya kesinti olmaksızın tek bir kalıcı çekirdek olarak çalışır ve GPU başlatma yükünü tamamen ortadan kaldırır.
• Gecikmeli Tensör Paralelliği (DTP): Standart tensör paralelliği, her katmanda bir "all-reduce" işlemiyle bloke olur. Kog, her bir all-reduce işlemini δ=2 katman kadar geciktirir, böylece iletişimi hesaplama ve ağırlık akışıyla çakıştırarak GPU'ların asla veri beklememesini sağlar.
• Şeritli Transformer Mimarisi (Laneformer): Laneformer, modeli DTP'nin iletişim planına uyum sağlayan 8 paralel "şeride" böler ve motorun tensör paralelliği yükünü mükemmel bir şekilde gizlemesine olanak tanır.
• Özel İletişim Katmanı (KCCL): Standart NCCL/RCCL'nin yerini alarak GPU'lar arasında daha düşük gecikmeli ve doğrusal ölçeklenen tensör paralelliği sağlar.
• Assembly Seviyesinde Optimizasyon: Kog, CUDA veya ROCm üzerinde yığın iyileştirmeler yapmak yerine, GPU'nun bellek bant genişliğindeki ve işlem birimindeki her döngüyü hedef alarak C++/assembly seviyesinde çalışır.

Laneformer 2B: Kanıtlanmış Sonuçlar

Kog, ham kıyaslama puanından ziyade kod çözme hızı için tasarlanmış, talimatla ince ayar yapılmış bir kodlama modeli olan Laneformer 2B'yi (2,3 milyar parametre) açık kaynak olarak yayınladı. Bu hızlar, bu boyuttaki bir model için tipik vLLM çıktı hızından yaklaşık 10 kat daha hızlıdır.

Metrik	Sonuç
8× AMD MI300X üzerinde kod çözme hızı	İstek başına 3.000 çıktı token/s (FP16, batch boyutu 1)
8× NVIDIA H200 üzerinde kod çözme hızı	İstek başına 2.100 çıktı token/s (FP16, batch boyutu 1)
HumanEval+ (greedy)	%45,1
MBPP+ (greedy)	%51,6
Yöntem	Kuantizasyon, spekülatif kod çözme veya budama yok

Ölçeklendirme İçin Sıradaki Hedefler

Kog'un halka açık teknoloji önizlemesi şu anda 2B model üzerinde çalışıyor. Şirket, tekniklerini ölçeklendirmek için yarışıyor:

• Kısa vadeli hedef: Büyük bir endüstriyel modelde (ör. 70B+ yoğun veya MoE) 10 kat hız iyileştirmesi göstermek. Şirket, önümüzdeki aylarda buna ulaşmayı bekliyor.
• Uzun vadeli hedef: Yaklaşımının, büyük sınır MoE modellerinde 30 kat daha hızlı çıkarım sağlayabileceğini ve Laneformer 2B'de elde ettiği hızlara ulaşabileceğini kanıtlamak. Kog, DTP ve monokernel tekniklerinin MoE mimarilerine uygun olduğunu kamuoyu önünde savundu.
• Mayıs 2026 lansmanından bu yana Kog, 200'ün üzerinde somut iş potansiyeli müşteri adayı oluşturduğunu ve kurumsal talebi karşılamak için tamamen büyük model desteğine odaklandığını söylüyor.

Rakiplerle Karşılaştırma

ZML — Yine bir Fransız yapay zeka girişimi olan (Yann LeCun tarafından desteklenen) ZML, farklı bir yaklaşım benimsiyor: birleşik bir derleyici tabanlı yaklaşım kullanarak birçok açık kaynak modelin çok çeşitli çiplerde (NVIDIA, AMD, Google TPU, Apple Metal, Intel Arc) çalışmasını sağlayan ücretsiz bir çıkarım motoru olan LLMD'yi piyasaya sürdü. ZML, aşırı düşük tek istek gecikmesi yerine donanım taşınabilirliğine ve çoklu çip desteğine öncelik veriyor. Kog ise, derin, donanıma özgü optimizasyon yoluyla belirli üst düzey veri merkezi GPU'larında (MI300X, H200) maksimum gecikme azaltma için özel olarak tasarlandı.

Cerebras — Temelde donanım odaklı bir strateji kullanıyor: Çoklu GPU iletişimi ihtiyacını ortadan kaldıran dev bir tek çip olan Wafer-Scale Engine (WSE-3). Cerebras, WSE-3 donanımında Llama 3.1 70B'de (batch 1) saniyede ~2.100 token hızına ulaşıyor — bu hızın 2B değil, 70B bir model için olduğunu belirtmek önemli.

Boyut	Kog	Cerebras
Yaklaşım	Standart GPU'larda sadece yazılım	Özel wafer-scale donanım
En iyi demo	2B modelde 3.000 tok/s	70B modelde ~2.100 tok/s
Gecikme iddiası	Sınır modellerde 30x hedefliyor	70B modellerde H100'e göre ~4x
Donanım maliyeti	Mevcut GPU altyapısını kullanır	Özel CS-3 sistemleri gerektirir
Olgunluk	Erken aşama (teknoloji önizlemesi, sadece 2B)	Birden çok açık model için üretim aşamasında

Önemli uyarı: Kog'un saniyede 3.000 token sonucu, 2,3 milyar parametreli bir modelde elde edildi — bu, Cerebras'ın benzer hızlarda hizmet verdiği 70B modellerden çok daha küçük. Kog, 30x iddiasını henüz büyük ölçekte kanıtlayamadı. Şirketin bir sonraki kilometre taşı (büyük bir endüstri modelinde 10x) kritik kanıt noktası olacak.