Claude Opus 4.7とGPT-5.5 Spud、更新後の安定性で何が本当に分かっているか

「回帰ドリフト」とは何か

AI運用でいう回帰ドリフトとは、モデルやプラットフォーム、プロンプト、ツール、検索・RAG、評価ハーネスなどが変わった結果、以前は通っていた振る舞いが通らなくなるズレを指します。

それは、回答品質の低下として現れることもあります。けれども、原因はそれだけではありません。出力フォーマットの変化、ツール呼び出しの順番や頻度の変化、タスク予算の打ち切り、トークン数の変化、コンテキスト上限付近での失敗、タイムアウト、検索結果の差分などでも起こります。

つまり、「出力が前と違う」ことは、ただちに「モデルが劣化した」ことを意味しません。品質の真の回帰かもしれませんが、同時に、トークナイズ、予算設定、評価環境、周辺システムの再現性の問題である可能性もあります。

研究が示すのは「注意すべき」ということまで

LLMの挙動が変わり得る、という懸念自体には研究上の根拠があります。ある論文は、2つのLLMにおけるベースラインの行動ドリフトを定量化し、ドリフトの現れ方はモデルによって異なり得るとしています 。また、ChatGPTに関する別の研究では、GPT-3.5とGPT-4の性能や振る舞いに短期間のドリフトが見られたと報告されています 。

これらは、モデルやプラットフォームの更新後に再テストすべきだ、という判断を支えます。ただし、Claude Opus 4.7やGPT-5.5 Spudについて個別のドリフト率を示すものではありません。まして、どちらがより再現性に優れるかを証明するものでもありません。

Claude Opus 4.7について確認できること

Anthropicは、開発者がclaude-opus-4-7をClaude API経由で利用できると説明しています 。さらに、Claude Opus 4.7の更新情報では、タスク予算と新しいトークナイザーの導入が明記されています 。

このトークナイザーは、以前のモデルと比べてテキスト処理時におおむね1倍から1.35倍、内容によっては最大で約35％多いトークンを使う可能性があるとされています。また、/v1/messages/count_tokensは、Claude Opus 4.7ではClaude Opus 4.6とは異なるトークン数を返すと説明されています 。

ここから言えるのは、範囲は狭いものの重要な点です。トークン数、予算しきい値、コンテキスト上限、ルーティング条件、コスト見積もりに依存するワークフローでは、プロンプト本文が同じでも、Opus 4.7への移行後に同じ挙動にならない可能性があります 。

ただし、これはOpus 4.7に品質回帰があることを示す証拠ではありません。トークナイザーやタスク予算の変更は、システム全体の再現性に影響し得ますが、それだけで「モデルが悪くなった」とは言えません。

GPT-5.5 Spudについて確認できること

GPT-5.5 Spudについては、今回の資料セットでは根拠がかなり弱くなります。

提示されたOpenAI APIページは、GPT-5.5 Spudの公式ページではなく、GPT-3.5-turboのドキュメントURLに対する「Page not found」でした 。また、GPT-5.5 Spudを扱う二次情報源も、GPT-5.5の公式リリース日、モデルカード、API価格は発表されていないと述べています 。

これは、Spudの実際の性能について何かを証明するものではありません。言えるのは、今回の根拠だけでは、SpudのAPI挙動、更新頻度、トークナイザー、過去の回帰、再現性について検証済みの主張はできない、ということです。

根拠の整理

モデル更新をどう検証すべきか

実務上の教訓はシンプルです。モデル更新は「同じものに差し替える」作業ではなく、「移行」として扱うべきです。評価では、モデルの品質変化と、周辺システムや測定条件による差分を切り分ける必要があります。

最低限、次のような移行計画が必要です。

1. テスト対象を正確に記録する。 モデルID、プロンプト、システム指示、ツールスキーマ、検索コンテキスト、入力ファイル、画像入力、デコード設定を保存します。これは、LLM研究で再現性と反復可能性を確保する必要があるという議論とも合います 。
2. 旧環境と新環境を同じケースで走らせる。 LLMの挙動は時間とともに変わり得るため、安定していると仮定するのではなく、測定する必要があります 。
3. Opus 4.7ではトークン数と予算に敏感なテストを追加する。 Anthropicは、Opus 4.7のトークン数がOpus 4.6と異なり得ること、またタスク予算が導入されることを説明しています。上限付近のケースは再計算と再実行が必要です 。
4. 失敗の原因を分類する。 予算打ち切り、トークン数の変化、検索漏れ、評価ハーネスのタイムアウトは、推論品質そのものの回帰とは別物です。
5. 未確認モデルのうわさを、文書化されたAPI対象と同列にベンチマークしない。 GPT-5.5 Spudについて、今回の資料セットには安定した公式APIリファレンスやモデルカードがありません。したがって、再現性に関する主張はここでは裏づけられません 。
6. 重要な変更のたびに再テストする。 LLMの挙動変化と再現性の問題は、評価プロセスの中に組み込んで扱うべきものです 。

結論

現時点で根拠をもって言える結論は、限定的ですが重要です。Claude Opus 4.7とGPT-5.5 Spudの間に、更新後の回帰ドリフトや再現性で検証済みの勝者はありません。

Claude Opus 4.7にはAnthropicの公式文書があり、トークン数やタスク予算に敏感なワークフローの再現性に影響し得る運用上の変更が示されています 。一方、GPT-5.5 Spudについては、今回確認できる資料セット内に同等のOpenAI公式根拠はありません。提示されたOpenAI APIページは「Page not found」であり、二次情報源も公式リリース日、モデルカード、API価格は未発表だと述べています 。

より広い研究文献が示しているのは、LLMのドリフトと再現性の問題は無視できず、慎重に測定すべきだということです 。だからこそ、勝者探しより先に、更新後も自社の本番タスクが同じ条件で通るかを検証する体制が必要です。