答え公開済み2 か月前Last edited 2 か月前19 ソース

OpenAIの「Jalapeño」はNvidia製AIシステムを超えたのか？省電力性能と応答速度を検証

OpenAIによると、JalapeñoはInferenceXのテストで、比較対象のNvidia GB200／GB300よりピーク時のワット当たりAI処理量が1.5～1.9倍、エンドツーエンド遅延が1.7～3.6倍低かったとされています。 DeepSeek R1では、トークン間隔を最小にした場合、Jalapeñoはユーザー1人当たり約700トークン／秒、GB300は169トークン／秒だったとOpenAIは報告しています。

公開者GPT-5.6 Luna で編集GPT Image 1.5 で画像を生成

Studio Global AIで検索して事実確認さらにトレンドページを見る

研究の答え

重要なポイント

OpenAIによると、JalapeñoはInferenceXのテストで、比較対象のNvidia GB200／GB300よりピーク時のワット当たりAI処理量が1.5～1.9倍、エンドツーエンド遅延が1.7～3.6倍低かったとされています。
DeepSeek R1では、トークン間隔を最小にした場合、Jalapeñoはユーザー1人当たり約700トークン／秒、GB300は169トークン／秒だったとOpenAIは報告しています。
Jalapeñoは学習用ではなく推論専用のアクセラレーターで、OpenAIは2026年末までに自社インフラへ限定導入し、2027年に容量を拡大する計画です。

Editorial illustration of OpenAI’s Jalapeño custom AI inference chip competing with Nvidia data-center accelerators — What did OpenAI’s custom Jalapeño inference chip, co-developed with Broadcom, demonstrate in its latest benchmarks against Nvidia’s GB200 anOpenAI says its Jalapeño accelerator is optimized for large language model inference rather than training.
AI プロンプト
Create a landscape editorial hero image for this Studio Global article: What did OpenAI’s custom Jalapeño inference chip, co-developed with Broadcom, demonstrate in its latest benchmarks against Nvidia’s GB200 an. Article summary: OpenAI says Jalapeño, its first Broadcom co-developed custom accelerator, beats the compared Nvidia GB200/GB300 rack systems on the tested inference workloads in both energy efficiency and response speed. These are early. Topic tags: general, documentation, general web, education, user generated. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text,
openai.com

OpenAIが初めて開発した独自アクセラレーター「Jalapeño」が、AIモデルの推論処理で注目を集めています。同社の最新テストによると、JalapeñoはNvidiaのGB200およびGB300を比較対象に、ワット当たりのAI処理量、リクエスト全体の応答遅延、ユーザーごとのインタラクティブなトークン生成速度で優れた結果を示しました。対象となったのはGPT‑OSS 120B、DeepSeek R1、Kimi K2.5 1Tです。3 4

ただし、これはOpenAIが特定のInferenceX構成で報告した初期結果です。あらゆる本番AIワークロードや、Nvidiaの現行・将来の全プラットフォームを対象にした、独立した普遍的な比較ではありません。4 7

Jalapeñoはベンチマークで何を示したのか

3つのモデルを通じて、OpenAIは比較システムに対し、ピークスループット時のワット当たりAI処理量が1.5～1.9倍、エンドツーエンド遅延が1.7～3.6倍低いと報告しました。特にインタラクティブ性を重視したワークロードでは、性能向上幅は2.1～4.1倍だったとされています。3

モデル別の主な結果は次のとおりです。

GPT‑OSS 120BとNvidia GB200の比較：Jalapeñoは、ピーク時の混合スループットを電力で割った指標で、1キロワット当たり85,448を記録したとされます。GB200は44,960でした。エンドツーエンド遅延はJalapeñoが1.03秒、GB200が1.80秒。トークン間の最短時間は0.69ミリ秒で、ユーザー1人当たり約1,459トークン／秒に相当し、GB200の535トークン／秒を上回りました。4
DeepSeek R1 MXFP4とNvidia GB300の比較：Jalapeñoのピーク時のワット当たり混合スループットは19,641、GB300は11,781でした。エンドツーエンド遅延は1.65秒対5.99秒。トークン間の最短時間では、Jalapeñoがユーザー1人当たり約700トークン／秒、GB300が169トークン／秒だったとOpenAIは報告しています。4 6
Kimi K2.5 MXFP4とNvidia GB300の比較：Jalapeñoはピークスループットのワット当たり性能で1.5倍、エンドツーエンド遅延で3.4倍の改善を示し、ユーザー1人当たりの速度は約694トークン／秒でした。GB300は182トークン／秒でした。4

「ユーザー1人当たりのトークン／秒」は、個々のリクエストに対してどれだけ速く生成結果が返るかを見る指標です。ラック全体が高い同時実行数で生成できる総トークン数だけを測るものではありません。チャット、コーディング、AIエージェントのように、体感的な応答速度がサービス品質に直結する用途では、この違いが重要になります。

なぜ専用推論チップは速くできるのか

Jalapeñoは、学習と推論の両方に使われる汎用GPUを推論に転用したものではなく、大規模言語モデルの推論処理に特化したアクセラレーターです。OpenAIがアーキテクチャを設計し、Broadcomがシリコン実装とネットワークを担当し、Celesticaがボード、ラック、システム統合に関わりました。17 32

ラック規模では、大きな接続ネットワーク領域を構成し、処理を可能な限り1つのシステム内にとどめる設計が採用されています。OpenAIによれば、KVキャッシュを含むモデルの状態をローカルに配置・保持することで、チップ間のデータ移動や、生成処理を遅らせる通信待ちを減らします。4 6

また、Jalapeñoは推論の「プリフィル」と「デコード」に別々の固定リソースプールを割り当てる構成ではありません。OpenAIは、計算、メモリー、ネットワークのリソースを両フェーズで融通可能にする設計だと説明しています。プリフィルは入力プロンプトの処理で比較的計算負荷が高く、デコードは回答を1トークンずつ生成するため、メモリー移動や帯域幅の影響を受けやすい処理です。4 6

公開されている技術情報はまだ限定的です。ある技術説明では、128チップ、約1.7エクサFLOPS、27TBのHBMを備えたシステムが示されていますが、OpenAIのベンチマーク発表だけではラック全体の部品構成や、すべての結果を第三者が再現するための詳細は明らかになっていません。4

AIを使い、設計から9カ月でテープアウト

OpenAIは、Jalapeñoについて、初期設計から半導体製造に向けた「テープアウト」までを9カ月で進めたと説明しています。先端のカスタムアクセラレーターとしては、非常に短い開発期間です。17 21

同社によると、設計探索、実装、測定、検証、演算回路の最適化、プログラミングなどにOpenAIのモデルを活用しました。CodexとGPT‑Astraによって、当初は計画されていなかった3つのオープンウェイトモデルを、2カ月以内に高い性能で動作させられる状態にしたとも報告しています。

さらに、GPT‑OSSのアテンションやMixture-of-Expertsの一部ブロックでは、AIが生成した実装が既存の人手による実装より1.5～1.8倍高速だったとしています。ただし、この数値は選定された処理ブロック単位の結果であり、モデル全体のサービス性能を示すものではありません。4

ベンチマーク結果を読む際の注意点

Jalapeñoの優位性は、テスト条件を踏まえて評価する必要があります。

学習用GPUではなく、推論専用チップ

Jalapeñoは、学習済みモデルをユーザーに提供する推論向けに設計されています。モデル学習用ではないため、OpenAIは今後も学習や一部の推論処理でNvidia、AMDなどのアクセラレーターを使い続ける見込みです。4 6

つまり、JalapeñoはOpenAIのインフラ全体を置き換える製品ではなく、特定の推論処理を補完する専用プラットフォームです。

テスト対象は限定されたサービング条件

比較には、SemiAnalysisが公開するInferenceXベンチマークが使われました。テストは、入力8,000トークン、出力1,000トークンを想定した単一ターンのリクエストで、リクエスト全体の処理を測定しています。ユーザー体験の条件をそろえ、公開されたチップの電力定格を使って結果を正規化しました。4 7

SemiAnalysisは、OpenAIのラボで実行を見届けた一方、ベンチマークスイート全体を自ら実行したわけではないとしています。また、この構成では、より長いコンテキスト、複数ターンのAIエージェント、リクエストのルーティング、プレフィックスキャッシュ、キャッシュ管理、オフロード動作などは検証されません。これらのソフトウェアやサービング上の選択は、本番性能を大きく左右する可能性があります。6

ワット当たり性能は電力の数え方にも左右される

OpenAIはJalapeñoのパッケージ電力を700ワットとし、今回のワークロードでは継続的な実測電力が550ワット以下だったと説明しています。一方、比較対象のGB200は1,200ワット、GB300は1,400ワットのモデル化された数値が使われました。

そのため、ワット当たりの優位性は、ワークロード、測定箇所、電力の算定方法によって変わり得ます。4

Nvidiaとの比較は時点に依存する

今回のテストは、その時点で利用可能だったGB200またはGB300の最良結果を比較対象にしています。しかし、Jalapeñoが大規模に導入される頃には、より新しいNvidiaシステムが比較対象として適切になっている可能性があります。

また、Nvidiaが公表するGB300のDeepSeek R1結果には、MLPerfのオフライン方式が使われています。これはJalapeñoのインタラクティブな「ユーザー1人当たりのトークン／秒」と直接比較できる指標ではありません。1 2 4

導入計画と競争戦略

OpenAIは、Jalapeñoを2026年末までに自社のコンピューティングインフラへ限定的に導入し、2027年には容量を増やす計画です。第2世代はすでに本格的な開発段階に入り、第3世代も形になり始めていると説明しています。4 6

現時点でJalapeñoは、外部企業が購入したり、クラウド経由で借りたりできるチップではありません。OpenAIのハードウェア責任者リチャード・ホー氏は、社内需要が非常に大きく、外販を想定できる状況ではないと述べています。6

したがって、短期的な戦略はNvidiaやAMDを一気に置き換えることではなく、専用チップを加えてインフラを補完することです。OpenAIにはモデル学習向けの汎用アクセラレーターが引き続き必要であり、今後も複数種類のチップを組み合わせる異種混在型のインフラになるとみられます。4 6

Googleは学習・推論向けのTPUを開発し、AmazonとMicrosoftも自社AIチップを手がけています。Anthropicも独自シリコンの開発構想を示しています。Jalapeñoは、こうした垂直統合の競争にOpenAI自身が本格的に加わる動きといえますが、今回示された優位性は、あくまで公表された構成でのLLM推論性能に限られます。6

結論：Nvidiaを全面的に超えたのではなく、推論の特定領域で強みを示した

Jalapeñoの初期結果は、特定のワークロードに最適化したアクセラレーターが、インタラクティブなLLM推論で重要な指標――省電力性、応答完了までの時間、ユーザーごとのトークン生成速度――を改善できる可能性を示しています。

一方で、「OpenAIがNvidiaに勝った」と結論づけるには材料が足りません。今回のリードは、選ばれたモデル、InferenceXの特定条件、GB200／GB300の比較構成に基づくものです。より幅広い本番トラフィック、長いコンテキストを扱うエージェント、異なるソフトウェアスタック、学習に近い処理、そしてJalapeñoが本格導入される時点のNvidia製品で、どのような結果になるかは今後の検証を待つ必要があります。

Studio Global AI

研究を続けてください

このページにはソースに裏付けされた回答が含まれており、Studio Global 内で続行できます。

Studio Global AIで検索して事実確認

人々も尋ねます