Kog Vs. Langit-Langit GPU: Bagaimana Software Saja Bisa Menghadirkan Inferensi LLM 30x Lebih Cepat

Kog adalah startup asal Prancis yang mengklaim mampu mencapai inferensi LLM hingga 30x lebih cepat pada GPU datacenter standar melalui tumpukan optimasi software yang mendalam—dengan merancang arsitektur model khusus (Laneformer), engine inferensi single-kernel (KIE), dan lapisan komunikasi kustom (KCCL) secara bersamaan untuk menghilangkan setiap sumber hambatan dalam putaran decode.

Alih-alih membangun ASIC khusus atau membeli hardware eksotis, Kog memperlakukan tiga lapisan sebagai satu sistem yang dirancang bersama:

• Monokernel (kernel CUDA persisten tunggal): Seluruh proses decode LLM berjalan sebagai satu kernel persisten tanpa peluncuran kernel atau gangguan di antara lapisan, menghilangkan overhead peluncuran GPU sepenuhnya.
• Delayed Tensor Parallelism (DTP): Tensor parallelism standar memblokir all-reduce di setiap lapisan. Kog menunda setiap all-reduce sebesar δ=2 lapisan, menumpuk komunikasi dengan komputasi dan streaming bobot sehingga GPU tidak pernah menganggur menunggu data.
• Arsitektur Transformer Lane-Structured: Laneformer membagi model menjadi 8 "jalur" paralel yang selaras dengan jadwal komunikasi DTP, memungkinkan engine menyembunyikan overhead tensor parallelism dengan sempurna.
• Lapisan komunikasi kustom (KCCL): Menggantikan NCCL/RCCL standar untuk mencapai tensor parallelism latensi lebih rendah dan skala linier di seluruh GPU.
• Optimasi tingkat assembly: Kog bekerja pada level C++/assembly daripada menumpuk tweak pada CUDA atau ROCm, menargetkan setiap siklus bandwidth memori GPU dan pemanfaatan komputasi.

Laneformer 2B: Hasil yang Didemonstrasikan

Kog merilis Laneformer 2B (2,3 miliar parameter) sebagai open-source, sebuah model coding yang di-tune instruksi dan dirancang untuk kecepatan decoding daripada skor benchmark mentah. Kecepatan ini kira-kira 10x lebih cepat daripada throughput vLLM tipikal untuk model seukuran ini.

Metrik	Hasil
Kecepatan decode pada 8× AMD MI300X	3.000 token output/dtk per permintaan (FP16, batch size 1)
Kecepatan decode pada 8× NVIDIA H200	2.100 token output/dtk per permintaan (FP16, batch size 1)
HumanEval+ (greedy)	45,1%
MBPP+ (greedy)	51,6%
Metode	Tanpa kuantisasi, tanpa speculative decoding, tanpa pruning

Milestone Selanjutnya untuk Scaling

Pratinjau teknis publik Kog saat ini berjalan pada model 2B. Perusahaan ini kini berlomba untuk memperbesar skala tekniknya:

• Target jangka pendek: Mendemonstrasikan peningkatan kecepatan 10x pada model skala industri utama (mis., 70B+ dense atau MoE). Perusahaan menargetkan pencapaian ini dalam beberapa bulan ke depan.
• Ambisi jangka panjang: Membuktikan bahwa pendekatannya dapat memberikan inferensi 30x lebih cepat pada model MoE frontier besar dengan kecepatan yang mirip dengan yang dicapai pada Laneformer 2B. Kog secara publik berargumen bahwa teknik DTP dan monokernel-nya dapat di-scale dengan baik ke arsitektur MoE.
• Sejak peluncuran Mei 2026, Kog mengklaim telah menghasilkan 200+ prospek bisnis nyata dan sepenuhnya fokus pada dukungan model yang lebih besar untuk memenuhi permintaan perusahaan.

Perbandingan dengan Pesaing

ZML — Juga startup AI Prancis (didukung oleh Yann LeCun), ZML mengambil pendekatan berbeda: mereka merilis LLMD, engine inferensi gratis yang memungkinkan banyak model open-source berjalan di berbagai chip (NVIDIA, AMD, Google TPU, Apple Metal, Intel Arc) menggunakan pendekatan berbasis compiler terpadu. ZML memprioritaskan portabilitas hardware dan dukungan multi-chip daripada latensi permintaan tunggal yang ekstrem. Sebaliknya, Kog dirancang khusus untuk pengurangan latensi maksimum pada GPU datacenter kelas atas tertentu (MI300X, H200) melalui optimasi hardware-spesifik yang mendalam.

Cerebras — Menggunakan strategi hardware-first secara fundamental: Wafer-Scale Engine (WSE-3), sebuah chip tunggal raksasa yang menghilangkan kebutuhan komunikasi multi-GPU. Cerebras mencapai ~2.100 token/dtk pada Llama 3.1 70B (batch 1) di hardware WSE-3 — yang perlu dicatat, kecepatan itu untuk model 70B, bukan model 2B.

Dimensi	Kog	Cerebras
Pendekatan	Software-only pada GPU standar	Hardware wafer-scale kustom
Demo terbaik	3.000 tok/dtk pada model 2B	~2.100 tok/dtk pada model 70B
Klaim latensi	Menargetkan 30x pada model frontier	~4x vs H100 pada model 70B
Biaya hardware	Menggunakan infrastruktur GPU yang ada	Membutuhkan sistem CS-3 proprietary
Kematangan	Tahap awal (pratinjau teknis, hanya 2B)	Produksi untuk beberapa model open-source

Peringatan penting: Hasil 3.000 tok/dtk Kog adalah pada model 2,3 miliar parameter—satu orde magnitudo lebih kecil daripada model 70B yang dilayani Cerebras pada kecepatan yang sebanding. Kog masih harus membuktikan klaim 30x-nya dalam skala besar. Milestone berikutnya perusahaan (10x pada model industri besar) akan menjadi titik pembuktian yang kritis.