Startup Perancis Ini Kata Perisian Sahaja Cukup untuk Pecutkan LLM 30x Lebih Pantas pada GPU Sedia Ada

Kog ialah sebuah startup Perancis yang mendakwa mampu mencapai inferens LLM sehingga 30x lebih pantas pada GPU pusat data sedia ada melalui timbunan pengoptimuman perisian yang mendalam – mereka bentuk bersama seni bina model tersuai (Laneformer), enjin inferens kernel tunggal (KIE), dan lapisan komunikasi tersuai (KCCL) untuk menghapuskan setiap punca kelewatan dalam gelung decode.

Daripada membina ASIC tersuai atau mendapatkan perkakasan eksotik, Kog menganggap tiga lapisan sebagai satu sistem yang direka bersama:

• Monokernel (kernel CUDA tunggal yang berterusan): Keseluruhan laluan decode LLM berjalan sebagai satu kernel berterusan tanpa pelancaran kernel atau gangguan antara lapisan, menghapuskan overhed pelancaran GPU sepenuhnya.
• Delayed Tensor Parallelism (DTP): Tensor parallelism standard menyekat all-reduce pada setiap lapisan. Kog melengahkan setiap all-reduce sebanyak δ=2 lapisan, menindih komunikasi dengan pengiraan dan penstriman pemberat supaya GPU tidak pernah terbiar menunggu data.
• Seni bina Transformer berstruktur lorong: Laneformer membahagikan model kepada 8 'lorong' selari yang sejajar dengan jadual komunikasi DTP, membolehkan enjin menyembunyikan overhed tensor parallelism dengan sempurna.
• Lapisan komunikasi tersuai (KCCL): Menggantikan NCCL/RCCL standard untuk mencapai tensor parallelism kependaman lebih rendah dan skala linear merentas GPU.
• Pengoptimuman peringkat pemasangan: Kog berfungsi pada peringkat C++/himpunan dan bukannya menimbun tweak pada CUDA atau ROCm, menyasarkan setiap kitaran lebar jalur memori GPU dan penggunaan pengiraan.

Laneformer 2B: Keputusan yang Ditunjukkan

Kog membuka sumber Laneformer 2B (2.3 bilion parameter), model pengekodan yang ditala arahan yang direka untuk kelajuan decode berbanding skor penanda aras mentah. Kelajuan ini kira-kira 10x lebih pantas daripada daya pemprosesan vLLM biasa untuk model saiz ini.

Metrik	Keputusan
Kelajuan Decode pada 8× AMD MI300X	3,000 token output/s setiap permintaan (FP16, saiz kelompok 1)
Kelajuan Decode pada 8× NVIDIA H200	2,100 token output/s setiap permintaan (FP16, saiz kelompok 1)
HumanEval+ (greedy)	45.1%
MBPP+ (greedy)	51.6%
Kaedah	Tiada kuantisasi, tiada spekulatif decoding, tiada pemangkasan

Pencapaian Seterusnya untuk Skala

Pratonton teknikal awam Kog berjalan pada model 2B. Syarikat kini berlumba untuk menskalakan tekniknya:

• Sasaran jangka pendek: Menunjukkan peningkatan kelajuan 10x pada model berskala industri utama (cth., 70B+ padat atau MoE). Syarikat menjangka mencapai ini dalam beberapa bulan akan datang.
• Aspirasi jangka panjang: Menunjukkan bahawa pendekatannya boleh menyampaikan inferens 30x lebih pantas pada model MoE sempadan besar pada kelajuan yang sama dengan yang dicapai pada Laneformer 2B. Kog secara terbuka berhujah bahawa teknik DTP dan monokernelnya berskala dengan baik kepada seni bina MoE.
• Sejak pelancaran Mei 2026, Kog mengatakan ia telah menjana 200+ petunjuk perniagaan ketara dan memberi tumpuan sepenuhnya pada sokongan model yang lebih besar untuk memenuhi permintaan perusahaan.

Perbandingan dengan Pesaing

ZML — Juga startup AI Perancis (disokong oleh Yann LeCun), ZML mengambil pendekatan berbeza: ia mengeluarkan LLMD, enjin inferens percuma yang membolehkan banyak model sumber terbuka berjalan pada pelbagai cip (NVIDIA, AMD, Google TPU, Apple Metal, Intel Arc) menggunakan pendekatan berasaskan pengkompil bersatu. ZML mengutamakan kebolehpindahan perkakasan dan sokongan pelbagai cip berbanding kependaman permintaan tunggal yang melampau. Kog, sebaliknya, dibina khas untuk pengurangan kependaman maksimum pada GPU pusat data mewah tertentu (MI300X, H200) melalui pengoptimuman khusus perkakasan yang mendalam.

Cerebras — Menggunakan strategi perkakasan dahulu secara asas: Wafer-Scale Engine (WSE-3), cip tunggal besar yang menghapuskan keperluan untuk komunikasi berbilang GPU. Cerebras mencapai ~2,100 token/s pada Llama 3.1 70B (kelompok 1) pada perkakasan WSE-3 — yang ketara, kelajuan itu adalah untuk model 70B, bukan model 2B.

Dimensi	Kog	Cerebras
Pendekatan	Perisian sahaja pada GPU standard	Perkakasan wafer-scale tersuai
Demo terbaik	3,000 tok/s pada model 2B	~2,100 tok/s pada model 70B
Dakwaan kependaman	Menyasarkan 30x pada model sempadan	~4x vs H100 pada model 70B
Kos perkakasan	Menggunakan infrastruktur GPU sedia ada	Memerlukan sistem CS-3 proprietari
Kematangan	Peringkat awal (pratonton teknikal, 2B sahaja)	Gred pengeluaran untuk pelbagai model terbuka

Kaveat utama: Keputusan 3,000 tok/s Kog adalah pada model 2.3B — susunan magnitud lebih kecil daripada model 70B yang dilayan Cerebras pada kelajuan setanding. Kog masih belum menunjukkan dakwaan 30x pada skala. Pencapaian seterusnya syarikat (10x pada model industri besar) akan menjadi titik bukti kritikal.