答え公開済み22 ソース
StartLuxの「Prism」は何を変える？判断モデル向け推論エンジンの仕組みと速度
StartLuxは、同社の判断モデル向けに設計したオープンソース推論エンジン「Prism」を公開しました。 Prismは選択肢に絞った出力スコアリング、複数の質問間での入力共有、整数演算による再現性の向上を狙っています。 従来のvLLM構成にもプレフィックスキャッシュなどはありました。Prismの特徴は、単にキャッシュを追加することではなく、判断タスクに合わせて処理を最適化した点です。
公開者GPT-6 Luna で編集GPT Image 2 で画像を生成
研究の答え
重要なポイント
- StartLuxは、同社の判断モデル向けに設計したオープンソース推論エンジン「Prism」を公開しました。
- Prismは選択肢に絞った出力スコアリング、複数の質問間での入力共有、整数演算による再現性の向上を狙っています。
- 従来のvLLM構成にもプレフィックスキャッシュなどはありました。Prismの特徴は、単にキャッシュを追加することではなく、判断タスクに合わせて処理を最適化した点です。
AI プロンプト
openai.comCreate a landscape editorial hero image for this Studio Global article: What did StartLux announce with its October 22, 2026 GitHub release of Prism, which it describes as the first open-source inference engine b. Article summary: StartLux announced Prism’s GitHub release on October 22, 2026, presenting it as the first open-source inference engine designed specifically for decision models, rather than general-purpose chat generation. Its claimed i. Topic tags: general, general web. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fake numbers, clic
StartLuxは2026年10月22日、同社の判断モデル向け推論エンジン「Prism」をオープンソースで公開しました。自由な文章を生成するチャットモデルとは違い、判断モデルは選択肢の決定、カテゴリ分類、確率の提示といった構造化された結果を返します。Prismはこの用途に処理を絞り、遅延の短縮や共有入力の再利用、出力の再現性向上を目指す設計です。性能の数値はStartLuxが実施したテストに基づいています。5
8
12
Prismは何を処理するエンジン？
StartLux-Decisionモデルは、/v1/systemone APIを通じて型付きの判断結果を返します。必要に応じて、答えを出す前に推論することもできます。PrismはStartLux-Decision v1とv1.1 AutoThinkに対応していますが、v1.1 Instantにはまだ対応していません。8
11
v1.1の従来の配備では、推論エンジンにvLLMが使われていました。ただし、参照構成にはすでにプレフィックスキャッシュやチャンク単位のプリフィルが含まれていました。つまり、vLLMが共有入力をまったく再利用できなかったわけではありません。Prismの狙いは、回答が短く、同じ資料について複数の質問をすることも多い判断タスクに合わせて、処理全体を調整することです。6
22
Prismの4つの設計上の工夫
1. 必要な選択肢だけをスコアリング
StartLuxによると、27Bモデルで汎用エンジンが約24万8,000個の候補トークンを評価する場面でも、判断タスクではA〜Zのような限られた選択肢だけを扱えばよい場合があります。出力候補のスコアリング段階で対象を絞ることで、候補数を約0.01％にできるとしています。これはモデル全体の推論計算量が0.01％になるという意味ではありません。12
2. 質問どうしで共通の入力を再利用
Prismの「フォレスト型バッチ処理」は、共通の指示や参照資料をまとめ、それぞれの質問を個別に処理する構成です。たとえば、1件の顧客問い合わせについて複数の判断を求める場合、問い合わせ本文を質問ごとに一から処理するのではなく、共通部分を再利用します。5
23
3. 整数演算で結果の再現性を高める
PrismはINT8の行列演算を使い、累積計算はINT32で行います。StartLuxは、対応する実行構成では、バッチの組み方や複数GPUの利用状況が変わっても出力確率をビット単位で再現できると説明しています。これはPrismが対応する実行環境での再現性に関する主張であり、INT8の結果があらゆる場合にBF16と同一になるという意味ではありません。8
19
4. 推論ありの依頼と短い回答を並行して処理
判断モデルはすぐ回答する場合もあれば、先に推論を行う場合もあります。Prismの配信設計は、長い推論処理が短い回答の依頼を一律に待たせないよう、両者を並行して処理することを目指しています。ただし、公表された速度は特定のモデルと配信構成での測定値であり、どの環境でも待ち時間が同じように短くなる保証ではありません。3
23
StartLuxが公表したベンチマーク
StartLuxは、特定のモデル、GPU、テスト条件で次の結果を報告しています。
- H200 1基で短い質問を1件処理： レイテンシーは53.1ミリ秒から19.0ミリ秒に短縮し、約2.8倍高速化。
12
14
- 同じ資料について3問： レイテンシーは92.9ミリ秒から17.4ミリ秒となり、約5.3倍高速化。
- JevBenchの231問： 平均レイテンシーはPrismが41.0ミリ秒。比較対象はSGLangが75.6ミリ秒、vLLMが112.7ミリ秒、llama.cppが589ミリ秒でした。
- H200 4基をデータ並列で運用： 1秒あたり121リクエストを処理し、1基の場合の約3.92倍のスループットだったと報告。
18
- H200 4基をテンソル並列で運用： 1つの質問の処理時間が41ミリ秒から29ミリ秒に短縮したとしています。
- 精度比較： 7つの評価セット、計1万2,351件の判断で、PrismのINT8構成は平均正解率92.94％、BF16は92.97％。差は0.03ポイントでした。平均値が近くても、個々の回答がすべて一致するとは限りません。
19
- 一般向けGPUでの実行： リポジトリによると、4ビット版の27BモデルはVRAM 32GBのRTX 5090で動作します。圧縮モデルの容量は報道で16.55GBとされています。
8
数字を見るときの注意点
これらは特定の負荷や構成における企業側の測定結果で、どの環境でもPrismが他の推論エンジンを上回ることを示す独立検証ではありません。StartLuxのベンチマーク資料には、使用モデル、ハードウェア、テスト条件が記載されており、比較の前提を確認できます。1
ベンチマーク資料が対象としているのは、StartLux-Decision v1の4B、9B、27Bモデルです。Prismの対応モデルにはv1.1 AutoThinkも含まれますが、v1.1 Instantは未対応です。そのため、すべての数値をあらゆるモデル系列の結果として一括りにすることはできません。1
8
11
また、「判断モデル向けで初のオープンソース推論エンジン」という表現はStartLuxによる説明です。同様に、ビット単位で同じ結果が得られるという主張も、同社が示す対応構成の範囲で捉える必要があります。5
8
Studio Global AI
研究を続けてください
このページにはソースに裏付けされた回答が含まれており、Studio Global 内で続行できます。
人々も尋ねます
「StartLuxの「Prism」は何を変える？判断モデル向け推論エンジンの仕組みと速度」の短い答えは何ですか?
StartLuxは、同社の判断モデル向けに設計したオープンソース推論エンジン「Prism」を公開しました。
最初に検証する重要なポイントは何ですか?
StartLuxは、同社の判断モデル向けに設計したオープンソース推論エンジン「Prism」を公開しました。 Prismは選択肢に絞った出力スコアリング、複数の質問間での入力共有、整数演算による再現性の向上を狙っています。
次の実践では何をすればいいでしょうか？
従来のvLLM構成にもプレフィックスキャッシュなどはありました。Prismの特徴は、単にキャッシュを追加することではなく、判断タスクに合わせて処理を最適化した点です。
情報源
163.comDeepSeek之后，StartLux再来：开源首个决策模型推理引擎，推理快至5.3倍