「ソフトウェア・ファースト」戦略でGPUの限界を突破：フランス発Kog、標準データセンターGPUでLLM推論を30倍高速化へ

フランス・パリ発のAIスタートアップKogは、カスタムASICや特殊なハードウェアに頼らず、既存のデータセンター向けGPU（NVIDIA H200、AMD MI300X）上で動作するソフトウェアの深層最適化のみによって、LLM（大規模言語モデル）の推論処理を最大30倍高速化できると主張している。

同社の技術は、通常は別々のチームが担当するモデルアーキテクチャ、並列化スキーム、GPUランタイムの3層を単一のシステムとして共同設計する点に特徴がある。

独自の3層共同設計アプローチ

1. モノカーネル（単一永続CUDAカーネル）：LLMのデコード処理全体を1つの永続カーネルとして実行。レイヤー間でのカーネル起動や割り込みを完全に排除し、GPUの起動オーバーヘッドをゼロにする。
2. 遅延テンソル並列化（Delayed Tensor Parallelism; DTP）：標準的なテンソル並列化では各レイヤーでall-reduce通信が発生し、GPUが待機状態になる。Kogはこのall-reduceをδ=2層分遅延させ、その間に次のレイヤーの重みデータのストリーミングを重ねることで、通信と計算を完全にオーバーラップさせる。
3. レーン構造独自アーキテクチャ「Laneformer」：モデルを8つの並列「レーン」に分割。この構造はDTPの通信スケジュールに完全に整合するよう設計されており、テンソル並列化のオーバーヘッドを理論上ゼロにする。
4. 独自通信ライブラリ「KCCL」：標準のNCCL/RCCLを独自の低レイテンシ通信ライブラリ「Kog Collective Communications Library（KCCL）」で置き換え、GPU間のテンソル並列通信を線形スケーリングで実現。
5. アセンブリレベルの最適化：CUDAやROCmのレイヤーの上で微調整を積み重ねるのではなく、C++およびアセンブリレベルでGPUのメモリ帯域幅と計算ユニットを隅々まで活用する。

Laneformer 2B: 実証済みの性能

Kogは2026年5月、2.3Bパラメータの命令チューニング済みコーディングモデル「Laneformer 2B」をオープンソースで公開。このモデルは、ベンチマークスコアよりもデコード速度を最優先に設計されている。

指標	結果
8× AMD MI300Xでのデコード速度	リクエストあたり3,000出力トークン/秒（FP16、バッチサイズ1）
8× NVIDIA H200でのデコード速度	リクエストあたり2,100出力トークン/秒（FP16、バッチサイズ1）
HumanEval+（greedy）	45.1%
MBPP+（greedy）	51.6%
手法	量子化なし、投機的デコードなし、プルーニングなし

これらの速度は、同規模のモデルにおける標準的なvLLMスループットと比較して約10倍高速である。Kogはこの速度を基に、より大規模なモデルでは30倍の高速化を目標としている。

今後のマイルストーンと課題

Kogのテックプレビューは現在2Bモデルのみで動作する。同社はこの技術をより大規模なモデルに拡張すべく、以下の目標に取り組んでいる。

• 短期目標：業界標準規模のモデルでの10倍高速化の実証（例：70B以上のDenseモデルまたはMoEモデル）。今後数ヶ月以内の達成を目指す。
• 長期目標：フロンティア級の大規模MoEモデルでの30倍高速化。KogはDTPとモノカーネルの技術はMoEアーキテクチャに対しても良好にスケールすると主張している。
• 2026年5月のローンチ以降、Kogは200以上の具体的なビジネスリードを獲得しており、エンタープライズの需要に応えるため、大規模モデルのサポートに全面的に注力している。

競合との比較

ZML：同じくフランス発のAIスタートアップ（ヤン・ルカン氏も支援）。ZMLのアプローチは、コンパイラベースの統一手法を用いて、NVIDIA、AMD、Google TPU、Apple Metal、Intel Arcなど多様なチップ上で多くのオープンソースモデルを実行できる自由な推論エンジン「LLMD」を提供すること。 ZMLはハードウェアのポータビリティとマルチチップ対応を重視しており、Kogのように特定のハイエンドGPUでの極端なレイテンシ低減に特化しているわけではない。

Cerebras：根本的にハードウェア・ファーストの戦略。巨大な単一チップ「Wafer-Scale Engine（WSE-3）」により、マルチGPU通信の必要性そのものを排除。CerebrasはWSE-3上で、Llama 3.1 70Bに対して約2,100トークン/秒（バッチサイズ1）を達成している。 注目すべきは、この速度が2Bモデルではなく70Bモデルで達成されている点だ。

比較軸	Kog	Cerebras
アプローチ	標準GPU上でのソフトウェアのみ	カスタムウエハースケールハードウェア
最高実績（モデル規模）	3,000トークン/秒（2Bモデル）	約2,100トークン/秒（70Bモデル）
レイテンシ主張	フロンティアモデルで30倍を目標	70BモデルでH100比約4倍
ハードウェアコスト	既存のGPUインフラをそのまま使用	専用CS-3システムが必要
成熟度	初期段階（テックプレビュー、2Bのみ）	複数のオープンモデルでプロダクション対応

重要な留意点： Kogの3,000トークン/秒という結果は、Cerebrasが同等の速度で提供する70Bモデルと比較して、一桁小さい2.3Bパラメータモデルでのものだ。Kogが主張する30倍高速化がスケールするかどうかはまだ実証されていない。同社の次のマイルストーン（大規模モデルでの10倍高速化）が、その真価を問う重要な試金石となる。