Enjin Inferens Kog: 3,000 Token/s pada GPU Standard Tanpa Cip Tersuai

Industri AI telah membelanjakan berbilion dolar memburu cip yang lebih pantas. Namun, startup yang berpangkalan di Paris, Kog AI, bertaruh bahawa mereka menyelesaikan masalah yang salah — dan pratonton teknik Mei 2026 mereka menunjukkan bahawa taruhan ini mungkin tepat.

Kog AI ialah startup infrastruktur AI Perancis yang diasaskan pada 2023 oleh Gaël Delalleau. Produk utamanya ialah Enjin Inferens Kog (KIE), enjin inferens berasaskan perisian semata-mata yang mempercepatkan inferens LLM secara drastik pada GPU pusat data standard — tanpa memerlukan silikon tersuai . Syarikat itu muncul dari persembunyian pada Mei 2025 dan melancarkan pratonton teknik awam pada 28 Mei 2026 .

Perisian vs. Silikon: Taruhan Kog Terhadap Perkakasan Dedikasi

Cerebras membina cip berskala wafer tujuan khas. Groq dan SambaNova mengikut laluan utamakan perkakasan yang serupa. Kog mengambil taruhan yang bertentangan: ruang kepala prestasi yang besar dalam GPU sedia ada ditinggalkan oleh timbunan perisian yang tidak cekap, dan pengoptimuman perisian peringkat dalam boleh menyamai atau mengatasi kelajuan perkakasan khusus tanpa cip baharu .

Inovasi terasnya ialah monokernel — satu program tunggal yang menetap di GPU yang menjalankan keseluruhan laluan nyahkod LLM (prefill, decode, persampelan LM-head) dalam satu pukulan, menghapuskan overhed pelancaran kernel setiap token yang membebani timbunan standard . Rangka kerja inferens standard seperti vLLM, SGLang, dan TensorRT-LLM melancarkan satu kernel GPU setiap token, setiap satunya membayar kira-kira 4.5 μs overhed pelancaran ditambah kependaman mulakan semula HBM . Enjin Kog memintas perpustakaan komunikasi standard dan menghapuskan penyegerakan grid yang diukurnya menggunakan 35% daripada masa penjanaan setiap token .

Tuntutan "30x lebih pantas" ditentukur terhadap kelajuan nyahkod biasa 100–300 token/s untuk model 2B–8B pada GPU mewah, berbanding 3,000 token/s Kog .

Keputusan Pratonton Teknik dan Had Yang Jelas

Keputusan:

• 3,000+ token output sesaat setiap permintaan pada satu nod 8× AMD MI300X dengan model Laneformer 2B (FP16, saiz kelompok 1, tiada nyahkod spekulatif)
• 2,100 token output/s setiap permintaan pada 8× NVIDIA H200 di bawah keadaan yang sama
• Kependaman pengguna tunggal cukup rendah untuk penggunaan interaktif masa nyata — demo itu telah dilancarkan di playground.kog.ai
• Model Laneformer 2B mencapai 45.1% HumanEval+ dan 51.6% MBPP+ dalam nyahkod tamak

Had:

• Pratonton itu hanya dijalankan pada model 2.3B-parameter (Laneformer 2B). Model yang lebih besar tidak ditunjukkan
• Ia adalah permintaan tunggal, pengguna tunggal — bukan persediaan perkhidmatan pengeluaran berbilang pengguna secara berkelompok, dan tidak menunjukkan daya pemprosesan di bawah beban serentak
• Hanya dua jenis GPU yang disokong: AMD MI300X dan NVIDIA H200
• Dengan 11 pekerja, syarikat itu sangat kecil untuk skop cita-citanya

Kes Penggunaan Sasaran dan Traksi Perniagaan Awal

Kog menyasarkan tiga senario utama:

• Aliran kerja AI ejen — syarikat itu berhujah bahawa GPU tidak sesuai untuk permintaan lelaran dan kependaman rendah ejen AI, dan enjinnya membetulkan ini
• Inferens LLM masa nyata — copilot pengekodan, chatbots, dan aplikasi di mana kependaman bawah 100ms setiap token penting
• Inferens perusahaan yang dihoskan sendiri — syarikat yang sudah memiliki GPU pusat data dan ingin mengelak daripada membeli perkakasan inferens khusus

Di bahagian perniagaan, Kog melaporkan 200+ petunjuk perniagaan ketara setakat Ogos 2026, menurut CEO Delalleau . Pratonton teknik itu menjadi halaman depan Hacker News pada Mei 2026 . Syarikat itu telah mengumpul pusingan benih yang diketuai bersama oleh Varsity VC, yang rakan kongsinya Kamel Zeroual adalah rakan pengasas Delalleau di syarikat pertamanya, Stribe .

Mengapa Ahli Fizik Keadaan Pepejal yang Bertukar Menjadi Penggodam Menjalankan Syarikat Ini

CEO Gaël Delalleau membawa latar belakang yang luar biasa kepada infrastruktur AI: fizik keadaan pepejal dan keselamatan siber ofensif .

• Fizik keadaan pepejal melatihnya untuk membuat penaakulan dari prinsip pertama tentang bagaimana perkakasan fizikal berkelakuan pada tahap rendah — elektron, lebar jalur memori, kekangan peringkat transistor. Pasukannya menganggap pengoptimuman GPU sebagai masalah fizik dan bukannya masalah kejuruteraan perisian
• Keselamatan siber ofensif memberinya mentaliti kejuruteraan songsang adversari. Enjin Kog memeriksa GPU pada peringkat pemasangan dan binari, mencari ruang kepala tersembunyi yang tidak didedahkan oleh pemacu dan perpustakaan standard — minda "penyerang" klasik yang digunakan untuk prestasi perkakasan
• Delalleau bukan penyelidik ML tradisional; syarikat pertamanya (Stribe, alumni TechCrunch50 2009) tidak berkaitan dengan AI. Dia menggambarkan dirinya sebagai pemikir prinsip pertama yang mereka bentuk algoritma dari perkakasan ke atas

Cabaran Penskalaan: Saiz Pasukan, Sokongan Cip, dan Skala Model

Kog menghadapi tiga halangan penskalaan yang ketara:

• Saiz pasukan: Dengan hanya 11 pekerja, memindahkan monokernel yang dioptimumkan secara mendalam ke seni bina GPU baharu adalah intensif buruh
• Sokongan cip baharu: Enjin itu kini hanya menyokong AMD MI300X dan NVIDIA H200. Setiap GPU baharu memerlukan kejuruteraan songsang manual pada peringkat pemasangan. CEO Delalleau mengakui ini adalah kesesakan, walaupun dia menjangkakan seni bina GPU yang lebih baharu dengan lebar jalur memori yang lebih tinggi akan menjadi sasaran yang lebih mudah
• Skala model: Penskalaan daripada model 2B-parameter kepada LLM skala penuh (70B+) mewakili apa yang dipanggil oleh Delalleau sebagai "lompatan yang besar." Teknik yang berfungsi untuk model kecil mungkin tidak boleh dilanjutkan secara remeh kepada jejak memori dan pengiraan yang jauh lebih besar

Pencapaian Penentu: Model Bahasa Besar

Pencapaian kritikal Kog yang seterusnya ialah membuktikan pendekatannya berfungsi pada model bahasa besar (70B+ parameter). CEO Delalleau telah menyatakan bahawa syarikat itu kini memberi tumpuan kepada meningkatkan tekniknya kepada LLM skala penuh. Keyakinan datang daripada seni bina GPU yang lebih baharu dengan lebar jalur memori yang jauh lebih tinggi — sumber yang dipercayai Kog masih kurang digunakan oleh timbunan perisian standard . Syarikat itu belum mengumumkan tarikh tertentu, tetapi demonstrasi ini dilihat secara meluas sebagai titik bukti penentu untuk keseluruhan tesis.