Startup Prancis Kog Bikin Gebrakan: Inferensi AI 3.000 Token/detik di GPU Standar Tanpa Chip Khusus

Inovasi intinya adalah monokernel — sebuah program tunggal dan persisten yang berada di GPU dan menjalankan seluruh proses decode LLM (prefill, decode, LM-head sampling) dalam satu kali jalan, sehingga menghilangkan overhead peluncuran kernel per-token yang membebani tumpukan standar . Kerangka kerja inferensi standar seperti vLLM, SGLang, dan TensorRT-LLM meluncurkan satu kernel GPU per token, masing-masing membutuhkan waktu sekitar 4,5 μs untuk biaya peluncuran ditambah latensi restart HBM . Mesin Kog melewati pustaka komunikasi standar dan menghilangkan sinkronisasi grid yang menurut pengukuran mereka menghabiskan 35% dari waktu pembuatan token .

Klaim "30 kali lebih cepat" ini dikalibrasi terhadap kecepatan decoding tipikal 100–300 token/detik untuk model 2B–8B pada GPU kelas atas, dibandingkan dengan 3.000 token/detik milik Kog .

Hasil Pratinjau Teknis dan Keterbatasan yang Jelas

Hasil:

• 3.000+ token keluaran per detik per permintaan pada satu node 8× AMD MI300X dengan model Laneformer 2B (FP16, ukuran batch 1, tanpa speculative decoding)
• 2.100 token keluaran/detik per permintaan pada 8× NVIDIA H200 dalam kondisi yang sama
• Latensi pengguna tunggal cukup rendah untuk penggunaan interaktif waktu nyata — demo dapat diakses langsung di playground.kog.ai
• Model Laneformer 2B mencapai 45,1% HumanEval+ dan 51,6% MBPP+ dalam decoding serakah (greedy decoding)

Keterbatasan:

• Pratinjau hanya berjalan pada model 2,3 miliar parameter (Laneformer 2B). Model yang lebih besar belum didemonstrasikan
• Hanya untuk satu permintaan dan satu pengguna — bukan pengaturan produksi multi-pengguna dengan pemrosesan batch, dan belum menunjukkan throughput di bawah beban bersamaan
• Hanya dua jenis GPU yang didukung: AMD MI300X dan NVIDIA H200
• Dengan 11 karyawan, perusahaan ini sangat kecil untuk skala ambisinya

Kasus Penggunaan Target dan Daya Tarik Bisnis Awal

Kog menargetkan tiga skenario utama:

• Alur kerja AI agen (agentic AI) — perusahaan ini berpendapat bahwa GPU kurang cocok untuk permintaan berulang dan latensi rendah dari agen AI, dan mesin mereka memperbaiki hal ini
• Inferensi LLM waktu nyata — coding copilot, chatbot, dan aplikasi di mana latensi di bawah 100ms per token sangat penting
• Inferensi perusahaan yang dihosting sendiri — perusahaan yang sudah memiliki GPU pusat data dan ingin menghindari pembelian hardware inferensi khusus

Di sisi bisnis, Kog melaporkan 200+ prospek bisnis nyata per Agustus 2026, menurut CEO Delalleau . Pratinjau teknisnya sempat menjadi berita utama di Hacker News pada Mei 2026 . Perusahaan ini telah mengumpulkan putaran pendanaan awal yang dipimpin bersama oleh Varsity VC, yang mitranya, Kamel Zeroual, adalah rekan pendiri Delalleau di startup pertamanya, Stribe .

Mengapa Seorang Fisikawan Negara Padat yang Beralih ke Peretasan Memimpin Perusahaan Ini

CEO Gaël Delalleau membawa latar belakang yang tidak biasa ke infrastruktur AI: fisika keadaan padat (solid-state physics) dan keamanan siber ofensif (offensive cybersecurity) .

• Fisika keadaan padat melatihnya untuk berpikir dari prinsip pertama tentang bagaimana hardware fisik bekerja pada tingkat rendah — elektron, bandwidth memori, batasan tingkat transistor. Timnya memperlakukan optimasi GPU sebagai masalah fisika, bukan masalah rekayasa perangkat lunak
• Keamanan siber ofensif memberinya pola pikir rekayasa balik yang bersifat permusuhan (adversarial reverse-engineering). Mesin Kog memeriksa GPU pada level assembly dan biner, menemukan ruang kepala (headroom) tersembunyi yang tidak diekspos oleh driver dan pustaka standar — sebuah "pola pikir peretas" klasik yang diterapkan pada kinerja hardware
• Delalleau bukan peneliti ML tradisional; startup pertamanya (Stribe, alumni TechCrunch50 2009) tidak terkait dengan AI. Dia menggambarkan dirinya sebagai pemikir prinsip pertama yang merancang algoritma dari level hardware ke atas

Tantangan Skalabilitas: Ukuran Tim, Dukungan Chip, dan Skala Model

Kog menghadapi tiga hambatan skalabilitas yang signifikan:

• Ukuran tim: Hanya dengan 11 karyawan, mem-porting monokernel yang sangat dioptimalkan secara manual ke arsitektur GPU baru membutuhkan banyak tenaga kerja
• Dukungan chip baru: Mesin ini saat ini hanya mendukung AMD MI300X dan NVIDIA H200. Setiap GPU baru memerlukan rekayasa balik manual di tingkat assembly. CEO Delalleau mengakui ini adalah hambatan, meskipun dia memperkirakan arsitektur GPU yang lebih baru dengan bandwidth memori yang lebih tinggi akan menjadi target yang lebih mudah
• Skala model: Menskalakan dari model 2 miliar parameter ke LLM skala penuh (70B+) merupakan apa yang disebut Delalleau sebagai "lompatan besar." Teknik yang berhasil untuk model kecil mungkin tidak dapat dengan mudah diperluas ke jejak memori dan komputasi yang jauh lebih besar

Tonggak Sejarah Penentu: Model Bahasa Besar

Tonggak sejarah kritis Kog berikutnya adalah membuktikan bahwa pendekatannya bekerja pada model bahasa besar (70 miliar+ parameter). CEO Delalleau telah menyatakan bahwa perusahaan kini fokus untuk meningkatkan tekniknya ke LLM skala penuh. Kepercayaan diri datang dari arsitektur GPU yang lebih baru dengan bandwidth memori yang jauh lebih tinggi — sebuah sumber daya yang menurut Kog masih kurang dimanfaatkan secara fundamental oleh tumpukan perangkat lunak standar . Perusahaan belum mengumumkan tanggal tertentu, tetapi demonstrasi ini secara luas dipandang sebagai titik bukti yang menentukan bagi seluruh tesis mereka.