Kog、標準GPUで毎秒3,000トークン超を達成——専用シリコン不要のソフトウェア推論エンジン

ソフトウェア vs シリコン：専用ハードウェアに賭けないKogの戦略

Cerebrasはウェハーレベルの専用チップを開発し、GroqやSambaNovaも同様のハードウェアファーストの道を歩んでいます。Kogはこれとは逆の賭けに出ています。すなわち、既存のGPUにはソフトウェアスタックの非効率性によって眠らされたままの膨大なパフォーマンス余力が存在し、深層レベルのソフトウェア最適化によって、新たなチップを一切必要とせずに専用ハードウェア並みの速度を達成できる、というものです。

中核となる革新は 「モノカーネル (monokernel)」 です。これは、LLMのデコードパス全体（プリフィル、デコード、LMヘッドサンプリング）を1つの永続的なGPUプログラムとして実行し、標準的なスタックで問題となるトークンごとのカーネル起動オーバーヘッドを排除します。標準的な推論フレームワーク（vLLM、SGLang、TensorRT-LLMなど）では、トークンごとにGPUカーネルを起動し、それぞれ約4.5μsの起動オーバーヘッドとHBM再起動レイテンシが発生します。Kogのエンジンは、標準の通信ライブラリをバイパスし、全生成時間の35%を占めていたグリッド同期も排除しています。

「30倍高速」という主張は、高性能GPU上での一般的な2B～8Bモデルのデコード速度（100～300トークン/秒）と、Kogの3,000トークン/秒を比較したものです。

テックプレビューの成果と明確な制約

成果:

• 1リクエストあたり毎秒3,000以上の出力トークン：1ノード8×AMD MI300X上、Laneformer 2Bモデル（FP16、バッチサイズ1、投機的デコードなし）
• 同条件で8×NVIDIA H200上では毎秒2,100出力トークン
• シングルユーザーレイテンシはリアルタイムインタラクティブ利用に十分低く、デモは playground.kog.ai で公開された
• Laneformer 2Bモデルは、貪欲デコードでHumanEval+ 45.1%、MBPP+ 51.6%を達成

制約:

• プレビューは 2.3Bパラメータのモデル（Laneformer 2B） でのみ実行され、より大規模なモデルでは未検証
• シングルリクエスト、シングルユーザー向けであり、バッチ処理によるマルチユーザー本番環境でのスループットは未確認
• 対応GPUはAMD MI300XとNVIDIA H200の2種類のみ
• 従業員数は11名と、その野望の規模に対して極めて小さなチーム

ターゲットユースケースとビジネスの進捗

Kogは主に3つのシナリオをターゲットとしています。

• エージェンティックAIワークフロー：GPUはAIエージェントの反復的で低レイテンシな要求に不向きとの見方に対し、Kogのエンジンがこれを解決すると主張
• リアルタイムLLM推論：コーディング副操縦士、チャットボットなど、トークンあたり100ミリ秒未満のレイテンシが求められるアプリケーション
• セルフホスト型エンタープライズ推論：既にデータセンタGPUを所有する企業が、専用推論ハードウェアを追加購入せずに高速推論を実現する手段として

ビジネス面では、CEOのDelalleau氏によると、2026年8月時点で 200以上の確度の高いビジネスリード を獲得しています。テックプレビューは2026年5月にHacker Newsのトップページを飾りました。シードラウンドはVarsity VCが共同リードし、そのパートナーであるKamel Zeroual氏はDelalleau氏が最初のスタートアップStribeで共同創業者でした。

固体物理学者からハッカーへ：CEOの異色の経緯が生む方法論

CEOの Gaël Delalleau 氏は、固体物理学 と 攻撃的サイバーセキュリティ というAIインフラストラクチャ分野では異色のバックグラウンドを持っています。

• 固体物理学：物理的なハードウェアが低レベル（電子、メモリ帯域幅、トランジスタレベルの制約）でどのように振る舞うかを第一原理から考える訓練を受けています。彼のチームはGPU最適化をソフトウェア工学的な問題ではなく、物理学的な問題として捉えています
• 攻撃的サイバーセキュリティ：敵対的リバースエンジニアリングの精神をもたらしました。KogのエンジンはGPUをアセンブリおよびバイナリレベルで調査し、標準的なドライバやライブラリが公開しない隠れた余力を見つけ出します——これは「攻撃者の思考」をハードウェアパフォーマンスに適用したものです
• Delalleau氏は伝統的なML研究者ではなく、最初のスタートアップ（TechCrunch50 2009に選出されたStribe）はAIとは無関係でした。彼自身を、ハードウェアからアルゴリズムを設計する第一原理思考者と表現しています

スケーリングの課題：チーム規模、チップサポート、モデル規模

Kogは3つの重大なスケーリングの壁に直面しています。

• チーム規模：わずか11名の従業員で、深く手動最適化されたモノカーネルを新しいGPUアーキテクチャに移植する作業は非常に労力を要します
• 新しいチップのサポート：現在対応しているのはAMD MI300XとNVIDIA H200のみ。新しいGPUごとにアセンブリレベルでの手動リバースエンジニアリングが必要です。CEOのDelalleau氏はこれがボトルネックであると認めつつ、より高いメモリ帯域幅を持つ新しいGPUアーキテクチャはより容易なターゲットになるとの見通しを示しています
• モデル規模：2Bパラメータモデルから70B+のフルスケールLLMへの拡張は、Delalleau氏が 「巨大な飛躍 (a huge leap)」 と呼ぶものです。小規模モデルで機能する手法が、はるかに大きなメモリと計算フットプリントにそのまま拡張できるとは限りません

成否を分けるマイルストーン：大規模言語モデルへの対応

Kogの次の重要なマイルストーンは、70B+パラメータの大規模言語モデルでそのアプローチが機能することを証明することです。CEOのDelalleau氏は、現在フルスケールLLMへの技術のスケーリングに注力していると述べています。その自信の根拠は、標準的なソフトウェアスタックでは基本的に活用されていない、大幅に高いメモリ帯域幅を備えた新しいGPUアーキテクチャの登場にあります。具体的な日程は発表されていませんが、この実証こそがKogの提唱する全体の主張にとっての成否を分ける証明点であると広く見られています。