Fractileが狙うAI推論ボトルネックの解消

さらに最近のAIモデルでは次のような変化が起きています。

• 出力が長文化している
• コンテキストウィンドウが巨大化している
• 推論型モデルが複数の内部ステップを実行する

こうした処理では1つのタスクで数千万トークン規模の計算が必要になる場合もあり、推論速度が大きな制約になります。

Fractileは、近い将来AIの能力ではなく推論レイテンシーがボトルネックになると見ています。

Fractileのアプローチ：メモリの中で計算する

Fractileが開発しているのは、**「インメモリ計算（in‑memory compute）」**と呼ばれる設計です。

従来のAIアクセラレータでは、計算コアとメモリ（例えばHBM）が分離しており、データは両者の間を絶えず行き来します。これは時間と電力を消費します。

Fractileの設計では、データが存在するメモリ構造の中または近くで計算を行うことで、このデータ移動を大幅に減らします。

主な特徴は次の通りです。

• メモリと計算機能を同じチップ上に統合
• モデル演算の多くをメモリ内で実行
• 外部メモリとの往復データ転送を削減

この設計により、レイテンシー、電力効率、コストの改善が期待されます。いずれも大規模AIサービスにとって重要な要素です。

同社によると、このアーキテクチャは最先端モデルの推論を最大25倍高速化し、コストを約10分の1に削減できる可能性があるとしています。過去の開発目標では、条件によって最大100倍高速・10分の1コストという数値も示されていましたが、これらは現時点では独立ベンチマークによる検証ではなく、企業側の目標値とされています。

220Mドルの資金調達で何を進めるのか

Fractileの**シリーズB（2億2000万ドル）**は、Accel、Factorial Funds、Founders Fundが主導し、Conviction、Gigascale Capital、O1A Ventures、Felicis、Buckley Ventures、8VCなどが参加しました。

資金の主な用途は以下です。

• 推論チップアーキテクチャの開発加速
• 初期ハードウェアシステムの製品化
• 英国・米国・台湾でのエンジニアリング体制拡張

同社は2022年にオックスフォード大学出身のエンジニア、ウォルター・グッドウィンによって創業されました。

また、報道によればAI企業Anthropicが将来のチップ導入について初期的な協議を行っている可能性があるとも伝えられています。ただし現時点で正式な商用契約は発表されていません。

推論が速くなると何が可能になるのか

もしFractileのようなアーキテクチャが推論性能を大幅に改善できれば、AIの使い方そのものが変わる可能性があります。

推論型AI（Reasoning Models）

最新のAIは答えを出す前に内部で複数の推論ステップを行う場合があります。推論速度が向上すれば、**実行時により多くの計算を使う「テスト時コンピュート」**が現実的になります。

リアルタイムAIアシスタント

対話型AIでは応答の遅延がユーザー体験を大きく左右します。トークン生成速度が上がれば、より自然なリアルタイム会話に近づきます。

エージェント型AI

ツール呼び出し、コード生成、再帰的推論などを行うAIエージェントは、膨大なトークンを消費する複雑な処理を実行します。推論速度の改善はこの分野にとって重要です。

大規模エンタープライズAI

企業がAIコパイロットやAPIを大量運用する場合、重要になるのはトークンあたりのコストとスループットです。専用推論チップは運用コストを大きく下げる可能性があります。

最大の疑問：GPUエコシステムに挑めるのか

Fractileの取り組みは、AI業界の大きな転換点を示しています。AIが研究段階から実用段階に移るにつれ、トレーニング性能だけでなく推論効率が決定的に重要になるという認識が広がっています。

ただし、新しいチップアーキテクチャがNvidia中心の成熟したGPUエコシステムと競争するのは簡単ではありません。現時点で示されている性能数値の多くは、まだ実機ベンチマークで検証されていない目標値です。

それでも、今回の大型資金調達と投資家の関心の高さは、AIの次のブレークスルーが**「より大きなモデル」ではなく「より速く動くインフラ」**から生まれる可能性を示しています。