Kog Inference Engine: Standart GPU’larda Saniyede 3.000 Token, Özel Çip Gerekmiyor

Kog'un temel yeniliği monokernel (tek çekirdek) olarak adlandırılıyor. Bu, tüm LLM kod çözme aşamasını (ön doldurma, kod çözme, LM-başlığı örnekleme) tek seferde çalıştıran, kalıcı ve tek bir GPU programıdır. Bu sayede, standart yığınları etkileyen her bir token için yapılan kernel başlatma yükü ortadan kalkar . Standart çıkarım çerçeveleri (vLLM, SGLang, TensorRT-LLM gibi) her token için bir GPU kernel'i başlatır ve her biri yaklaşık 4,5 μs'lik bir başlatma yükü ve HBM yeniden başlatma gecikmesi öder . Kog'un motoru, standart iletişim kütüphanelerini devre dışı bırakır ve toplam token üretim süresinin %35'ini oluşturduğu ölçülen grid senkronizasyonlarını ortadan kaldırır .

"30 kat daha hızlı" iddiası, üst düzey GPU'larda 2B-8B modelleri için tipik olan saniyede 100-300 tokenlik çözme hızına karşılık, Kog'un saniyede 3.000 tokenlik hızına dayanmaktadır .

Teknik Önizleme Sonuçları ve Net Sınırlamalar

Sonuçlar:

• İstek başına saniyede 3.000'den fazla çıktı tokeni, tek bir 8× AMD MI300X düğümünde, FP16 hassasiyetinde, 1 batch boyutunda ve hiçbir spekülatif kod çözme kullanılmadan Laneformer 2B modeli ile elde edildi
• Aynı koşullar altında 8× NVIDIA H200 üzerinde istek başına saniyede 2.100 çıktı tokeni elde edildi
• Tek kullanıcı gecikmesi, gerçek zamanlı etkileşimli kullanım için yeterince düşük; demo playground.kog.ai adresinde yayına alındı
• Laneformer 2B modeli, açgözlü kod çözmede HumanEval+'da %45,1 ve MBPP+'da %51,6 başarı elde etti

Sınırlamalar:

• Önizleme yalnızca 2,3 milyar parametreli bir modelle (Laneformer 2B) çalıştırıldı. Daha büyük modeller gösterilmedi
• Tek istekli, tek kullanıcılı bir kurulumdu; çok kullanıcılı üretim sunumu için toplu işleme (batched) ve eşzamanlı yük altında verimlilik testi yapılmadı
• Yalnızca iki GPU türü destekleniyordu: AMD MI300X ve NVIDIA H200
• Şirket sadece 11 çalışanıyla, iddiasının büyüklüğüne göre oldukça küçük bir ekip

Hedef Kullanım Alanları ve Erken İş Hacmi

Kog üç ana senaryoyu hedefliyor:

• Aracı AI (Agentic AI) iş akışları — Şirket, GPU'ların yapay zeka ajanlarının yinelemeli, düşük gecikmeli taleplerine uygun olmadığı görüşünü reddediyor
• Gerçek zamanlı LLM çıkarımı — Kodlama asistanları, sohbet robotları ve token başına 100 ms'nin altında gecikmenin kritik olduğu uygulamalar
• Kurumsal çıkarım (Self-hosted) — Halihazırda veri merkezi GPU'larına sahip olan ve özel çıkarım donanımı satın almak istemeyen şirketler

İş tarafında, Kog, CEO Delalleau'ya göre Ağustos 2026 itibarıyla 200'ün üzerinde somut iş bağlantısı bildirdi . Teknik önizleme, Mayıs 2026'da Hacker News'in ön sayfasına çıktı . Şirket, tohum yatırım turunu Varsity VC liderliğinde tamamladı; Varsity VC'nin ortağı Kamel Zeroual, Delalleau'nun ilk girişimi Stribe'deki kurucu ortağıydı .

Katı Hal Fizikçisinden Siber Güvenlik Uzmanına: CEO'nun Farklı Geçmişi

CEO Gaël Delalleau, yapay zeka altyapısına sıra dışı bir geçmişle geliyor: katı hal fiziği ve saldırı amaçlı siber güvenlik (offensive cybersecurity) .

• Katı hal fiziği, ona fiziksel donanımın düşük seviyede (elektronlar, bellek bant genişliği, transistör seviyesindeki kısıtlamalar) nasıl davrandığını ilk prensiplerden anlama eğitimi verdi. Ekibi, GPU optimizasyonunu bir yazılım mühendisliği probleminden ziyade bir fizik problemi olarak ele alıyor
• Saldırı amaçlı siber güvenlik, ona düşmanca tersine mühendislik yapma zihniyeti kazandırdı. Kog'un motoru, GPU'ları assembly ve binary seviyesinde inceleyerek standart sürücü ve kütüphanelerin sunmadığı gizli performans alanlarını buluyor; bu, donanım performansına uygulanan klasik bir "saldırgan zihniyeti"
• Delalleau geleneksel bir makine öğrenimi araştırmacısı değil; ilk girişimi (Stribe, 2009 TechCrunch50 katılımcısı) yapay zeka ile ilgisizdi. Kendisini, algoritmaları donanımdan başlayarak tasarlayan bir ilk prensipler düşünürü olarak tanımlıyor

Ölçeklendirme Zorlukları: Ekip Büyüklüğü, Çip Desteği ve Model Boyutu

Kog'un karşılaştığı üç temel ölçeklendirme engeli:

• Ekip büyüklüğü: Sadece 11 çalışanıyla, derinlemesine elle optimize edilmiş monokernel'i yeni GPU mimarilerine taşımak zahmetli bir iş
• Yeni çip desteği: Motor şu anda yalnızca AMD MI300X ve NVIDIA H200'ü destekliyor. Her yeni GPU, assembly seviyesinde manuel tersine mühendislik gerektiriyor. CEO Delalleau bunun bir darboğaz olduğunu kabul ediyor, ancak daha yüksek bellek bant genişliğine sahip yeni GPU mimarilerini hedeflemenin daha kolay olacağını düşünüyor
• Model boyutu: 2B parametreli modellerden tam ölçekli LLM'lere (70B+) geçiş, Delalleau'nun deyimiyle "büyük bir sıçrama." Küçük bir modelde işe yarayan teknikler, çok daha büyük bellek ve işlem ayak izlerine kolayca uyarlanamayabilir

Ya Hep Ya Hiç: Büyük Dil Modellerindeki Sınav

Kog için bir sonraki kritik dönüm noktası, yaklaşımının büyük dil modellerinde (70B+ parametre) işe yaradığını kanıtlamak. CEO Delalleau, şirketin artık tekniklerini tam ölçekli LLM'lere ölçeklemeye odaklandığını belirtti. Güven, standart yazılım yığınları tarafından temelde yetersiz kullanıldığına inandıkları, önemli ölçüde daha yüksek bellek bant genişliğine sahip yeni GPU mimarilerinden geliyor . Şirket henüz belirli bir tarih açıklamadı, ancak bu gösterim, tüm tez için ya hep ya hiç anlamına gelen bir kanıt noktası olarak görülüyor.