Startup Perancis Ini Kata Perisian Sahaja Cukup untuk Pecutkan LLM 30x Lebih Pantas pada GPU Sedia Ada
Kog, sebuah startup Perancis, mendakwa dapat mencapai 3,000 token output/s setiap permintaan pada nod 8× AMD MI300X menggunakan enjin inferens berasaskan perisian semata mata – tiada perkakasan khas, tiada kuantisasi,... Inovasi utamanya, Delayed Tensor Parallelism (DTP), melengahkan all reduce antara GPU sebanyak 2...
Diterbitkan olehDisunting dengan DeepSeek-V4-FlashImej dijana dengan GPT Image 1.5
Kog, sebuah startup Perancis, mendakwa dapat mencapai 3,000 token output/s setiap permintaan pada nod 8× AMD MI300X menggunakan enjin inferens berasaskan perisian semata mata – tiada perkakasan khas, tiada kuantisasi,...
Inovasi utamanya, Delayed Tensor Parallelism (DTP), melengahkan all reduce antara GPU sebanyak 2 lapisan untuk menindih komunikasi dengan pengiraan, menghapuskan kelewatan yang melanda tensor parallelism standard.
Kog belum lagi menunjukkan dakwaan 30x sepenuhnya pada skala besar (demo terbaik adalah pada model 2B, bukan model 70B+); titik bukti kritikal seterusnya ialah peningkatan kelajuan 10x pada model berskala industri dal...
What is Kog's approach to achieving up to 30x faster LLM inference on existing GPUs, how does its software-first strategy work, what resultsKog's software-only strategy eliminates GPU stalls through co-designed model architecture and kernel design.
AI Prompt
Create a landscape editorial hero image for this Studio Global article: What is Kog's approach to achieving up to 30x faster LLM inference on existing GPUs, how does its software-first strategy work, what results. Article summary: ## Kog's Approach and Results. Topic tags: general, documentation, general web, user generated, academic. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fake numbers, clickbait thumbnails, icons, and tiny thumbnail layouts. Make it useful as an illustrative visual, not as factual evidence.
openai.com
Kog ialah sebuah startup Perancis yang mendakwa mampu mencapai inferens LLM sehingga 30x lebih pantas pada GPU pusat data sedia ada melalui timbunan pengoptimuman perisian yang mendalam – mereka bentuk bersama seni bina model tersuai (Laneformer), enjin inferens kernel tunggal (KIE), dan lapisan komunikasi tersuai (KCCL) untuk menghapuskan setiap punca kelewatan dalam gelung decode.
Daripada membina ASIC tersuai atau mendapatkan perkakasan eksotik, Kog menganggap tiga lapisan sebagai satu sistem yang direka bersama:
Monokernel (kernel CUDA tunggal yang berterusan): Keseluruhan laluan decode LLM berjalan sebagai satu kernel berterusan tanpa pelancaran kernel atau gangguan antara lapisan, menghapuskan overhed pelancaran GPU sepenuhnya.
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
What is the short answer to "Startup Perancis Ini Kata Perisian Sahaja Cukup untuk Pecutkan LLM 30x Lebih Pantas pada GPU Sedia Ada"?
Kog, sebuah startup Perancis, mendakwa dapat mencapai 3,000 token output/s setiap permintaan pada nod 8× AMD MI300X menggunakan enjin inferens berasaskan perisian semata mata – tiada perkakasan khas, tiada kuantisasi,...
What are the key points to validate first?
Kog, sebuah startup Perancis, mendakwa dapat mencapai 3,000 token output/s setiap permintaan pada nod 8× AMD MI300X menggunakan enjin inferens berasaskan perisian semata mata – tiada perkakasan khas, tiada kuantisasi,... Inovasi utamanya, Delayed Tensor Parallelism (DTP), melengahkan all reduce antara GPU sebanyak 2 lapisan untuk menindih komunikasi dengan pengiraan, menghapuskan kelewatan yang melanda tensor parallelism standard.
What should I do next in practice?
Kog belum lagi menunjukkan dakwaan 30x sepenuhnya pada skala besar (demo terbaik adalah pada model 2B, bukan model 70B+); titik bukti kritikal seterusnya ialah peningkatan kelajuan 10x pada model berskala industri dal...
Startup Perancis Ini Kata Perisian Sahaja Cukup untuk Pecutkan LLM 30x Lebih Pantas pada GPU Sedia Ada
Kog, sebuah startup Perancis, mendakwa dapat mencapai 3,000 token output/s setiap permintaan pada nod 8× AMD MI300X menggunakan enjin inferens berasaskan perisian semata mata – tiada perkakasan khas, tiada kuantisasi,... Inovasi utamanya, Delayed Tensor Parallelism (DTP), melengahkan all reduce antara GPU sebanyak 2...
Diterbitkan olehDisunting dengan DeepSeek-V4-FlashImej dijana dengan GPT Image 1.5
Kog, sebuah startup Perancis, mendakwa dapat mencapai 3,000 token output/s setiap permintaan pada nod 8× AMD MI300X menggunakan enjin inferens berasaskan perisian semata mata – tiada perkakasan khas, tiada kuantisasi,...
Inovasi utamanya, Delayed Tensor Parallelism (DTP), melengahkan all reduce antara GPU sebanyak 2 lapisan untuk menindih komunikasi dengan pengiraan, menghapuskan kelewatan yang melanda tensor parallelism standard.
Kog belum lagi menunjukkan dakwaan 30x sepenuhnya pada skala besar (demo terbaik adalah pada model 2B, bukan model 70B+); titik bukti kritikal seterusnya ialah peningkatan kelajuan 10x pada model berskala industri dal...
What is Kog's approach to achieving up to 30x faster LLM inference on existing GPUs, how does its software-first strategy work, what resultsKog's software-only strategy eliminates GPU stalls through co-designed model architecture and kernel design.
AI Prompt
Create a landscape editorial hero image for this Studio Global article: What is Kog's approach to achieving up to 30x faster LLM inference on existing GPUs, how does its software-first strategy work, what results. Article summary: ## Kog's Approach and Results. Topic tags: general, documentation, general web, user generated, academic. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fake numbers, clickbait thumbnails, icons, and tiny thumbnail layouts. Make it useful as an illustrative visual, not as factual evidence.
openai.com
Kog ialah sebuah startup Perancis yang mendakwa mampu mencapai inferens LLM sehingga 30x lebih pantas pada GPU pusat data sedia ada melalui timbunan pengoptimuman perisian yang mendalam – mereka bentuk bersama seni bina model tersuai (Laneformer), enjin inferens kernel tunggal (KIE), dan lapisan komunikasi tersuai (KCCL) untuk menghapuskan setiap punca kelewatan dalam gelung decode.
Daripada membina ASIC tersuai atau mendapatkan perkakasan eksotik, Kog menganggap tiga lapisan sebagai satu sistem yang direka bersama:
Monokernel (kernel CUDA tunggal yang berterusan): Keseluruhan laluan decode LLM berjalan sebagai satu kernel berterusan tanpa pelancaran kernel atau gangguan antara lapisan, menghapuskan overhed pelancaran GPU sepenuhnya.
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
What is the short answer to "Startup Perancis Ini Kata Perisian Sahaja Cukup untuk Pecutkan LLM 30x Lebih Pantas pada GPU Sedia Ada"?
Kog, sebuah startup Perancis, mendakwa dapat mencapai 3,000 token output/s setiap permintaan pada nod 8× AMD MI300X menggunakan enjin inferens berasaskan perisian semata mata – tiada perkakasan khas, tiada kuantisasi,...
What are the key points to validate first?
Kog, sebuah startup Perancis, mendakwa dapat mencapai 3,000 token output/s setiap permintaan pada nod 8× AMD MI300X menggunakan enjin inferens berasaskan perisian semata mata – tiada perkakasan khas, tiada kuantisasi,... Inovasi utamanya, Delayed Tensor Parallelism (DTP), melengahkan all reduce antara GPU sebanyak 2 lapisan untuk menindih komunikasi dengan pengiraan, menghapuskan kelewatan yang melanda tensor parallelism standard.
What should I do next in practice?
Kog belum lagi menunjukkan dakwaan 30x sepenuhnya pada skala besar (demo terbaik adalah pada model 2B, bukan model 70B+); titik bukti kritikal seterusnya ialah peningkatan kelajuan 10x pada model berskala industri dal...
Delayed Tensor Parallelism (DTP): Tensor parallelism standard menyekat all-reduce pada setiap lapisan. Kog melengahkan setiap all-reduce sebanyak δ=2 lapisan, menindih komunikasi dengan pengiraan dan penstriman pemberat supaya GPU tidak pernah terbiar menunggu data.
Seni bina Transformer berstruktur lorong: Laneformer membahagikan model kepada 8 'lorong' selari yang sejajar dengan jadual komunikasi DTP, membolehkan enjin menyembunyikan overhed tensor parallelism dengan sempurna.
Lapisan komunikasi tersuai (KCCL): Menggantikan NCCL/RCCL standard untuk mencapai tensor parallelism kependaman lebih rendah dan skala linear merentas GPU.
Pengoptimuman peringkat pemasangan: Kog berfungsi pada peringkat C++/himpunan dan bukannya menimbun tweak pada CUDA atau ROCm, menyasarkan setiap kitaran lebar jalur memori GPU dan penggunaan pengiraan.
Laneformer 2B: Keputusan yang Ditunjukkan
Kog membuka sumber Laneformer 2B (2.3 bilion parameter), model pengekodan yang ditala arahan yang direka untuk kelajuan decode berbanding skor penanda aras mentah. Kelajuan ini kira-kira 10x lebih pantas daripada daya pemprosesan vLLM biasa untuk model saiz ini.
Metrik
Keputusan
Kelajuan Decode pada 8× AMD MI300X
3,000 token output/s setiap permintaan (FP16, saiz kelompok 1)
Kelajuan Decode pada 8× NVIDIA H200
2,100 token output/s setiap permintaan (FP16, saiz kelompok 1)
HumanEval+ (greedy)
45.1%
MBPP+ (greedy)
51.6%
Kaedah
Tiada kuantisasi, tiada spekulatif decoding, tiada pemangkasan
Pencapaian Seterusnya untuk Skala
Pratonton teknikal awam Kog berjalan pada model 2B. Syarikat kini berlumba untuk menskalakan tekniknya:
Sasaran jangka pendek: Menunjukkan peningkatan kelajuan 10x pada model berskala industri utama (cth., 70B+ padat atau MoE). Syarikat menjangka mencapai ini dalam beberapa bulan akan datang.
Aspirasi jangka panjang: Menunjukkan bahawa pendekatannya boleh menyampaikan inferens 30x lebih pantas pada model MoE sempadan besar pada kelajuan yang sama dengan yang dicapai pada Laneformer 2B. Kog secara terbuka berhujah bahawa teknik DTP dan monokernelnya berskala dengan baik kepada seni bina MoE.
Sejak pelancaran Mei 2026, Kog mengatakan ia telah menjana 200+ petunjuk perniagaan ketara dan memberi tumpuan sepenuhnya pada sokongan model yang lebih besar untuk memenuhi permintaan perusahaan.
Perbandingan dengan Pesaing
ZML — Juga startup AI Perancis (disokong oleh Yann LeCun), ZML mengambil pendekatan berbeza: ia mengeluarkan LLMD, enjin inferens percuma yang membolehkan banyak model sumber terbuka berjalan pada pelbagai cip (NVIDIA, AMD, Google TPU, Apple Metal, Intel Arc) menggunakan pendekatan berasaskan pengkompil bersatu. ZML mengutamakan kebolehpindahan perkakasan dan sokongan pelbagai cip berbanding kependaman permintaan tunggal yang melampau. Kog, sebaliknya, dibina khas untuk pengurangan kependaman maksimum pada GPU pusat data mewah tertentu (MI300X, H200) melalui pengoptimuman khusus perkakasan yang mendalam.
Cerebras — Menggunakan strategi perkakasan dahulu secara asas: Wafer-Scale Engine (WSE-3), cip tunggal besar yang menghapuskan keperluan untuk komunikasi berbilang GPU. Cerebras mencapai ~2,100 token/s pada Llama 3.1 70B (kelompok 1) pada perkakasan WSE-3 — yang ketara, kelajuan itu adalah untuk model 70B, bukan model 2B.
Dimensi
Kog
Cerebras
Pendekatan
Perisian sahaja pada GPU standard
Perkakasan wafer-scale tersuai
Demo terbaik
3,000 tok/s pada model 2B
~2,100 tok/s pada model 70B
Dakwaan kependaman
Menyasarkan 30x pada model sempadan
~4x vs H100 pada model 70B
Kos perkakasan
Menggunakan infrastruktur GPU sedia ada
Memerlukan sistem CS-3 proprietari
Kematangan
Peringkat awal (pratonton teknikal, 2B sahaja)
Gred pengeluaran untuk pelbagai model terbuka
Kaveat utama: Keputusan 3,000 tok/s Kog adalah pada model 2.3B — susunan magnitud lebih kecil daripada model 70B yang dilayan Cerebras pada kelajuan setanding. Kog masih belum menunjukkan dakwaan 30x pada skala. Pencapaian seterusnya syarikat (10x pada model industri besar) akan menjadi titik bukti kritikal.
Delayed Tensor Parallelism (DTP): Tensor parallelism standard menyekat all-reduce pada setiap lapisan. Kog melengahkan setiap all-reduce sebanyak δ=2 lapisan, menindih komunikasi dengan pengiraan dan penstriman pemberat supaya GPU tidak pernah terbiar menunggu data.
Seni bina Transformer berstruktur lorong: Laneformer membahagikan model kepada 8 'lorong' selari yang sejajar dengan jadual komunikasi DTP, membolehkan enjin menyembunyikan overhed tensor parallelism dengan sempurna.
Lapisan komunikasi tersuai (KCCL): Menggantikan NCCL/RCCL standard untuk mencapai tensor parallelism kependaman lebih rendah dan skala linear merentas GPU.
Pengoptimuman peringkat pemasangan: Kog berfungsi pada peringkat C++/himpunan dan bukannya menimbun tweak pada CUDA atau ROCm, menyasarkan setiap kitaran lebar jalur memori GPU dan penggunaan pengiraan.
Laneformer 2B: Keputusan yang Ditunjukkan
Kog membuka sumber Laneformer 2B (2.3 bilion parameter), model pengekodan yang ditala arahan yang direka untuk kelajuan decode berbanding skor penanda aras mentah. Kelajuan ini kira-kira 10x lebih pantas daripada daya pemprosesan vLLM biasa untuk model saiz ini.
Metrik
Keputusan
Kelajuan Decode pada 8× AMD MI300X
3,000 token output/s setiap permintaan (FP16, saiz kelompok 1)
Kelajuan Decode pada 8× NVIDIA H200
2,100 token output/s setiap permintaan (FP16, saiz kelompok 1)
HumanEval+ (greedy)
45.1%
MBPP+ (greedy)
51.6%
Kaedah
Tiada kuantisasi, tiada spekulatif decoding, tiada pemangkasan
Pencapaian Seterusnya untuk Skala
Pratonton teknikal awam Kog berjalan pada model 2B. Syarikat kini berlumba untuk menskalakan tekniknya:
Sasaran jangka pendek: Menunjukkan peningkatan kelajuan 10x pada model berskala industri utama (cth., 70B+ padat atau MoE). Syarikat menjangka mencapai ini dalam beberapa bulan akan datang.
Aspirasi jangka panjang: Menunjukkan bahawa pendekatannya boleh menyampaikan inferens 30x lebih pantas pada model MoE sempadan besar pada kelajuan yang sama dengan yang dicapai pada Laneformer 2B. Kog secara terbuka berhujah bahawa teknik DTP dan monokernelnya berskala dengan baik kepada seni bina MoE.
Sejak pelancaran Mei 2026, Kog mengatakan ia telah menjana 200+ petunjuk perniagaan ketara dan memberi tumpuan sepenuhnya pada sokongan model yang lebih besar untuk memenuhi permintaan perusahaan.
Perbandingan dengan Pesaing
ZML — Juga startup AI Perancis (disokong oleh Yann LeCun), ZML mengambil pendekatan berbeza: ia mengeluarkan LLMD, enjin inferens percuma yang membolehkan banyak model sumber terbuka berjalan pada pelbagai cip (NVIDIA, AMD, Google TPU, Apple Metal, Intel Arc) menggunakan pendekatan berasaskan pengkompil bersatu. ZML mengutamakan kebolehpindahan perkakasan dan sokongan pelbagai cip berbanding kependaman permintaan tunggal yang melampau. Kog, sebaliknya, dibina khas untuk pengurangan kependaman maksimum pada GPU pusat data mewah tertentu (MI300X, H200) melalui pengoptimuman khusus perkakasan yang mendalam.
Cerebras — Menggunakan strategi perkakasan dahulu secara asas: Wafer-Scale Engine (WSE-3), cip tunggal besar yang menghapuskan keperluan untuk komunikasi berbilang GPU. Cerebras mencapai ~2,100 token/s pada Llama 3.1 70B (kelompok 1) pada perkakasan WSE-3 — yang ketara, kelajuan itu adalah untuk model 70B, bukan model 2B.
Dimensi
Kog
Cerebras
Pendekatan
Perisian sahaja pada GPU standard
Perkakasan wafer-scale tersuai
Demo terbaik
3,000 tok/s pada model 2B
~2,100 tok/s pada model 70B
Dakwaan kependaman
Menyasarkan 30x pada model sempadan
~4x vs H100 pada model 70B
Kos perkakasan
Menggunakan infrastruktur GPU sedia ada
Memerlukan sistem CS-3 proprietari
Kematangan
Peringkat awal (pratonton teknikal, 2B sahaja)
Gred pengeluaran untuk pelbagai model terbuka
Kaveat utama: Keputusan 3,000 tok/s Kog adalah pada model 2.3B — susunan magnitud lebih kecil daripada model 70B yang dilayan Cerebras pada kelajuan setanding. Kog masih belum menunjukkan dakwaan 30x pada skala. Pencapaian seterusnya syarikat (10x pada model industri besar) akan menjadi titik bukti kritikal.
