AIゲートウェイにリクエスト上限を設けるのは、過剰な入力によるメモリや処理時間の消費を防ぐうえで合理的です。ただし、ゲートウェイの上限を、そのままモデルの能力や業界標準のように扱うのは適切ではありません。

今回の実装でまず確認したいのは、試験用の設定値、上流APIの仕様、ゲートウェイの資源上限、モデルのコンテキスト容量が、同じ種類の「制限」として混ざっていないかという点です。

まず分けたい、3種類の上限

このゲートウェイは、モデルを動かす推論サーバーでも、受け取ったデータをそのまま転送するだけの中継器でもありません。上流向けのリクエストを組み立て、ツール呼び出しを処理し、会話履歴を調整し、画像を上流の添付形式に変換します。

そのため、制限は少なくとも次の3つに分けて考える必要があります。

• モデルの制限：コンテキスト容量、出力可能なトークン数、対応する入力形式。
• 上流APIの制限：リクエストサイズ、メッセージ形式、画像やツールの扱い。
• ゲートウェイの制限：リクエストの受信・解析に使うメモリ、CPU、同時処理数、タイムアウト。

モデルが大量のトークンを扱えても、ゲートウェイのJSON解析が無制限に安全になるわけではありません。一方で、ゲートウェイの本文サイズ上限をモデルのコンテキスト容量から直接導くこともできません。HTTPのバイト数、JSONの構造、メモリ使用量、トークン数は、それぞれ別の尺度です。

公式仕様から分かること、分からないこと

確認できた公式情報では、OpenAIのGPT-5.5はコンテキストウィンドウが1,050,000トークン、最大出力が128,000トークンです。5 Anthropicは2026年10月28日、第一者Claude APIのMessages APIとToken Counting APIについて、最大リクエストサイズを32 MBから128 MBに引き上げたと発表しています。10

また、AnthropicのMessages APIでは1リクエストあたり最大100,000件のメッセージを受け付けます。12 画像については、APIの1リクエストあたりの上限が、コンテキストウィンドウ200kのモデルでは100枚、それ以外のモデルでは600枚とされています。画像の寸法にも別の制約があります。16

これらの数字は、今回のゲートウェイ設定と単純に比較できるものではありません。たとえばAnthropicのMessages APIはステートレスで、通常は会話の全履歴をリクエストに含めます。15 また、OpenAIはツールやスキーマが多い場合、必要なものをその都度読み込む方法を案内しています。2

なお、確認できた資料だけでは、Google Vertex／AI StudioやxAIの同種の上限値までは比較できません。また、公式仕様の数字が、StudioGlobal経由の同名モデルにもそのまま適用されるとは限りません。

6つの試験値を、役割ごとに見る

今回確認した6つの値は試験設定です。現行の本番仕様や、各社に共通する標準値として扱う根拠はありません。

試験値	何を守る設定か	見直すときのポイント
本文上限：8 MiB	大きすぎるリクエストの受信を防ぐ	試験値としては使えても、すべてのモデル・入力形式に共通する上限とはいえません。
本文のメモリ予算：64 MiB	ゲートウェイ内部の容量を管理する	モデルの性能ではなく、配置先のメモリや同時処理数に基づいて決める値です。
メッセージ数：1,024件	オブジェクト数の増加を抑える	メッセージ数はコンテキスト容量そのものではありません。短いメッセージが多い場合と、巨大なメッセージが1件ある場合では負荷が異なります。
ツール数：128	ツール定義の量や処理負荷を抑える	4社共通の標準値だとは確認できません。ツールの数だけでなく、各定義の大きさも見る必要があります。
JSON深度：32	過度に入れ子になった構造を防ぐ	モデルの理解力ではなく、ゲートウェイの解析対象を制限する値です。
JSONノード数：65,536	大量のJSON要素による処理負荷を抑える	トークン数とは別の尺度です。バイト数やメモリ制限だけで十分かも含めて検討が必要です。

特に注意したいのは、JSONの深さやノード数を、あらゆる場所に一律に当てはめないことです。構造化出力のスキーマに関する制約と、通常のメッセージ本文に文字列として含まれるJSONは、同じものではありません。

また、ツール定義を一度に大量に渡すことだけが選択肢ではありません。OpenAIの公式ガイドも、ツールやスキーマが多い場合に、必要に応じて定義を読み込む方法を案内しています。2

数字を変える前に、実装の差を確認する

コード上では、旧式の事前検査と現在のストリーミング検査で、JSONノードの数え方が同じではありません。旧処理はキーと値の両方を数える一方、現在の処理は主に値の入り口で数えています。同じ「65,536」でも、実際に許される構造が同じとは限りません。

メモリ予算の扱いにも注意が必要です。旧処理の見積もりは、本文サイズやノード数、デコード後の文字列などから派生容量を推定する方式です。これは物理メモリやプロセスのRSSを直接測った保証ではありません。したがって、予算値だけを根拠に「この設定なら実メモリを超えない」とは言えません。

さらに、現在のストリーミング設定には、本文全体で約53.8 MiBの上限がある一方、メディア以外のJSONは512 KiBに制限され、デフォルトの派生容量は4 MiBです。つまり、旧設定の8 MiBだけを変更しても、現在のテキスト入力の制限が解消するとは限りません。上限を動かすなら、解析や変換に必要な容量も合わせて確認する必要があります。

会話履歴にも独自の管理があります。上流リクエストでは、安全のためのメッセージ予算が56件、送信カウントの予算が480,000に設定されています。このカウントは各社のトークナイザーによる厳密な測定ではなく、文字数を使った推定です。通常のテキストは履歴から古いグループを除いて調整できますが、メディアを含むリクエストは同じ圧縮経路に入れません。

このため、画像対応の追加は、画像枚数だけでなく、長い会話履歴の扱いにも影響します。ここは、単一画像のサイズ上限とは分けて検証すべき点です。

見直しの結論

必要なのは、上限を一律に撤廃することでも、モデルの大きなコンテキスト容量を理由に上限を引き上げることでもありません。

• リクエストサイズ、解析量、同時処理、タイムアウトなど、ゲートウェイ自身を守る仕組みは残す。
• 試験値を本番の共通契約にせず、各設定が何を防ぎ、正当なリクエストにどう影響するかを明記する。
• 上流APIの制約と、ローカル環境の容量制限を分けて管理する。
• テキスト入力の512 KiB制限や派生容量など、実際の処理経路で効いている制約を確認してから値を変える。
• ゲートウェイが会話履歴を削るなどの調整をする場合は、単なるプロトコル変換と区別し、クライアント側にもその動作を伝える。

現時点の情報だけでは、6つの値を置き換える新たな具体値までは決められません。実際のクライアントリクエスト、接続先ごとの仕様、配置先の資源を確認して決めるのが妥当です。目指すべきなのは、根拠の薄い制限でモデルの利用可能範囲を狭めず、同時にゲートウェイを無制限の処理にさらさないことです。

AIゲートウェイにリクエスト上限を設けるのは、過剰な入力によるメモリや処理時間の消費を防ぐうえで合理的です。ただし、ゲートウェイの上限を、そのままモデルの能力や業界標準のように扱うのは適切ではありません。

今回の実装でまず確認したいのは、試験用の設定値、上流APIの仕様、ゲートウェイの資源上限、モデルのコンテキスト容量が、同じ種類の「制限」として混ざっていないかという点です。

まず分けたい、3種類の上限

このゲートウェイは、モデルを動かす推論サーバーでも、受け取ったデータをそのまま転送するだけの中継器でもありません。上流向けのリクエストを組み立て、ツール呼び出しを処理し、会話履歴を調整し、画像を上流の添付形式に変換します。

そのため、制限は少なくとも次の3つに分けて考える必要があります。

• モデルの制限：コンテキスト容量、出力可能なトークン数、対応する入力形式。
• 上流APIの制限：リクエストサイズ、メッセージ形式、画像やツールの扱い。
• ゲートウェイの制限：リクエストの受信・解析に使うメモリ、CPU、同時処理数、タイムアウト。

モデルが大量のトークンを扱えても、ゲートウェイのJSON解析が無制限に安全になるわけではありません。一方で、ゲートウェイの本文サイズ上限をモデルのコンテキスト容量から直接導くこともできません。HTTPのバイト数、JSONの構造、メモリ使用量、トークン数は、それぞれ別の尺度です。

公式仕様から分かること、分からないこと

確認できた公式情報では、OpenAIのGPT-5.5はコンテキストウィンドウが1,050,000トークン、最大出力が128,000トークンです。5 Anthropicは2026年10月28日、第一者Claude APIのMessages APIとToken Counting APIについて、最大リクエストサイズを32 MBから128 MBに引き上げたと発表しています。10

また、AnthropicのMessages APIでは1リクエストあたり最大100,000件のメッセージを受け付けます。12 画像については、APIの1リクエストあたりの上限が、コンテキストウィンドウ200kのモデルでは100枚、それ以外のモデルでは600枚とされています。画像の寸法にも別の制約があります。16

これらの数字は、今回のゲートウェイ設定と単純に比較できるものではありません。たとえばAnthropicのMessages APIはステートレスで、通常は会話の全履歴をリクエストに含めます。15 また、OpenAIはツールやスキーマが多い場合、必要なものをその都度読み込む方法を案内しています。2

なお、確認できた資料だけでは、Google Vertex／AI StudioやxAIの同種の上限値までは比較できません。また、公式仕様の数字が、StudioGlobal経由の同名モデルにもそのまま適用されるとは限りません。

6つの試験値を、役割ごとに見る

今回確認した6つの値は試験設定です。現行の本番仕様や、各社に共通する標準値として扱う根拠はありません。

試験値	何を守る設定か	見直すときのポイント
本文上限：8 MiB	大きすぎるリクエストの受信を防ぐ	試験値としては使えても、すべてのモデル・入力形式に共通する上限とはいえません。
本文のメモリ予算：64 MiB	ゲートウェイ内部の容量を管理する	モデルの性能ではなく、配置先のメモリや同時処理数に基づいて決める値です。
メッセージ数：1,024件	オブジェクト数の増加を抑える	メッセージ数はコンテキスト容量そのものではありません。短いメッセージが多い場合と、巨大なメッセージが1件ある場合では負荷が異なります。
ツール数：128	ツール定義の量や処理負荷を抑える	4社共通の標準値だとは確認できません。ツールの数だけでなく、各定義の大きさも見る必要があります。
JSON深度：32	過度に入れ子になった構造を防ぐ	モデルの理解力ではなく、ゲートウェイの解析対象を制限する値です。
JSONノード数：65,536	大量のJSON要素による処理負荷を抑える	トークン数とは別の尺度です。バイト数やメモリ制限だけで十分かも含めて検討が必要です。

特に注意したいのは、JSONの深さやノード数を、あらゆる場所に一律に当てはめないことです。構造化出力のスキーマに関する制約と、通常のメッセージ本文に文字列として含まれるJSONは、同じものではありません。

また、ツール定義を一度に大量に渡すことだけが選択肢ではありません。OpenAIの公式ガイドも、ツールやスキーマが多い場合に、必要に応じて定義を読み込む方法を案内しています。2

数字を変える前に、実装の差を確認する

コード上では、旧式の事前検査と現在のストリーミング検査で、JSONノードの数え方が同じではありません。旧処理はキーと値の両方を数える一方、現在の処理は主に値の入り口で数えています。同じ「65,536」でも、実際に許される構造が同じとは限りません。

メモリ予算の扱いにも注意が必要です。旧処理の見積もりは、本文サイズやノード数、デコード後の文字列などから派生容量を推定する方式です。これは物理メモリやプロセスのRSSを直接測った保証ではありません。したがって、予算値だけを根拠に「この設定なら実メモリを超えない」とは言えません。

さらに、現在のストリーミング設定には、本文全体で約53.8 MiBの上限がある一方、メディア以外のJSONは512 KiBに制限され、デフォルトの派生容量は4 MiBです。つまり、旧設定の8 MiBだけを変更しても、現在のテキスト入力の制限が解消するとは限りません。上限を動かすなら、解析や変換に必要な容量も合わせて確認する必要があります。

会話履歴にも独自の管理があります。上流リクエストでは、安全のためのメッセージ予算が56件、送信カウントの予算が480,000に設定されています。このカウントは各社のトークナイザーによる厳密な測定ではなく、文字数を使った推定です。通常のテキストは履歴から古いグループを除いて調整できますが、メディアを含むリクエストは同じ圧縮経路に入れません。

このため、画像対応の追加は、画像枚数だけでなく、長い会話履歴の扱いにも影響します。ここは、単一画像のサイズ上限とは分けて検証すべき点です。

見直しの結論

必要なのは、上限を一律に撤廃することでも、モデルの大きなコンテキスト容量を理由に上限を引き上げることでもありません。

• リクエストサイズ、解析量、同時処理、タイムアウトなど、ゲートウェイ自身を守る仕組みは残す。
• 試験値を本番の共通契約にせず、各設定が何を防ぎ、正当なリクエストにどう影響するかを明記する。
• 上流APIの制約と、ローカル環境の容量制限を分けて管理する。
• テキスト入力の512 KiB制限や派生容量など、実際の処理経路で効いている制約を確認してから値を変える。
• ゲートウェイが会話履歴を削るなどの調整をする場合は、単なるプロトコル変換と区別し、クライアント側にもその動作を伝える。

現時点の情報だけでは、6つの値を置き換える新たな具体値までは決められません。実際のクライアントリクエスト、接続先ごとの仕様、配置先の資源を確認して決めるのが妥当です。目指すべきなのは、根拠の薄い制限でモデルの利用可能範囲を狭めず、同時にゲートウェイを無制限の処理にさらさないことです。