AIをAIだけに審査させない——Sampura Researchが目指す「人間・AIの審判」

Sampura Researchは、ロンドンを拠点とするAI安全性研究の非営利団体です。中心に据える問いは、能力がますます高まるAIシステムが「正しく、安全に振る舞っているか」を、誰が判断すべきなのかというものです。

同団体の答えは、人間を監督の輪から外すことではありません。AIに任せられる部分は自動化しつつ、判断や解釈、価値観に関わる場面では人間が関与し続ける——人間とAIが監督責任を分担する仕組みを設計しようとしています。SampuraはCoefficient Givingから、初年度向け700万ドルと追加拠出予定400万ドルを含む、総額1,100万ドルの初期助成を受けたと発表しています。1

なお、公開発表の日付は8月24日ではなく、2026年8月25日です。発表文で創設者として名前が挙げられているのはRishub Jain氏とJosh Jacob氏。過去のSNS投稿ではAlex Adams氏が関わる取り組みとして紹介されていましたが、3人全員が正式な創設者であることまでは、公開発表から確認できません。112

Sampuraが言う「審判」とは

Sampuraの用語でいう**審判（judge）**とは、別のAIシステムの振る舞いが正しく、整合的で、安全かどうかを評価する存在です。人間でも、AIモデルでも、人間とAIを組み合わせたハイブリッドシステムでも構いません。評価対象は、単発の回答、会話全体、あるいは複数の手順を踏むAIエージェントの行動履歴（trajectory）です。1

ここで重要なのは、AIの能力と、その能力を評価する仕組みは別の問題だという点です。AIは流暢な回答を返したり、複雑なタスクを完了したりできても、評価者を誤解させたり、報酬関数の抜け穴を突いたり、長い一連の行動の中で危険な選択をしたりする可能性があります。

Sampuraは、この監督能力を人間とAIの補完関係によって拡張することを、**「スケーラブルな監督のための人間・AI相補性」**と位置づけています。1

なぜAIだけの監督に反対するのか

AIを評価者として使う魅力は明確です。人間より速く、低コストで、大量の出力を処理できるからです。しかし、速いことだけで評価者が信頼できるとは限りません。Sampuraは、主に次のリスクを挙げています。1

• 能力のばらつき：AIの能力は一様ではなく、特定の課題には強くても、別の課題では予想外に弱いという「ギザギザした」性能になり得る。
• 失敗パターンの重なり：人間とAIの評価者が似た誤りを犯すと、評価対象モデルが最適化によってその弱点を突いたとき、双方が同じ失敗を見逃す可能性がある。
• 欺きや共謀：監督されるAIが、自動化された評価者を利用したり、欺いたり、影響を及ぼしたりする可能性がある。
• 未知の状況への対応：前例のない曖昧なケースでは、既存の好みを機械的に適用するだけでなく、人間が価値判断を行う必要がある。

もちろん、だからといって人間の評価者が常に優れているわけではありません。Sampuraが検証しようとしているのは、どの状況で、どのような人間・AIの組み合わせが最も堅牢に機能するかです。1

最初の研究は20超のデータセットを含む評価表

Sampuraの最初の6か月の計画は、20を超えるサブデータセットからなる、多様な「審判」リーダーボードの構築です。検討対象には、欺きの検出、文化的バイアス、AIエージェントによる危険な行動などが含まれます。1

単純な質疑応答テストだけではありません。評価対象のモデルが、強化学習の中で審判を直接相手に最適化する状況も想定しています。つまり、審判の弱点を見つけて評価を通過しようとする動機をモデルに与え、その状態でも審判が機能するかを調べる計画です。1

比較するのは、大きく次の3方式です。

1. 人間の審判：人間が直接、モデルの振る舞いを評価する。
2. AIのみの審判：速度と大規模運用に優れるAI評価者。
3. ハイブリッド型の審判：人間とAIが評価作業を分担、または連携する方式。

目標は、1つの狭いベンチマークで高得点を取ることではありません。監督対象のモデルが評価の弱点を突く能力を高めても、幅広いテストで安定して機能する審判を見つけることが狙いです。1

人間とAIの分担はどう設計されるのか

Sampuraが示しているハイブリッド監督の例には、次のようなものがあります。1

• AIが自分の確信度を推定し、不確かなケースだけ人間に回す。
• 監督タスク全体を、人間またはAIのどちらかに振り分ける。
• 複雑なタスクを小さな作業に分解し、サブタスクごとに人間かAIへ割り当てる。
• 人間の評価者が難しい判定をより速く、一貫して行えるよう、専用のインターフェースを用意する。

この考え方では、人間の関与は「必要か不要か」の二択ではなく、最適化すべき資源になります。自動評価で安価かつ信頼性高く処理できるケースもあれば、時間をかけて人間が判断すべきケースもあります。問われるのは「人間かAIか」ではなく、正確さ、コスト、速度、そして意図的なごまかしへの耐性をどう両立するかです。1

将来は報酬ハッキングや評価基準そのものも研究

より強い審判を開発した後、Sampuraは、それらがモデル訓練中の報酬ハッキングを減らせるかどうかを検証する方針です。さらに、人間の関与をどの程度残すべきか、基盤モデルが監督システムの弱点を学習した場合に審判をどう適応させるか、出力の分類を超えてどこまで監督に使えるかも研究対象にしています。1

将来的には、AIの訓練や評価に使う仕様書、指示、評価基準、テストケースの作成・審査まで対象を広げる可能性があります。研究成果は、論文、コード、データセット、リーダーボードを通じて公開するとしています。1

一方、現時点で確認できる発表資料は、データセット、ベンチマーク、タスクの振り分け、人間を支援するインターフェースという大きな研究計画を裏付けるものです。特定の名称を持つ「将来予測型の危害」データセットや、オープンソースの人間評価プラットフォームが正式発表されたことまでは確認できません。これらは、発表済みの製品やプロジェクトとして扱うべきではありません。

採用競争が示す、AI評価人材の不足

Sampuraは、ロンドンで技術系の創設メンバーを採用しています。プログラムには、機械学習、評価設計、ヒューマン・コンピューター・インタラクション、データ運用、実装・展開といった複数分野の知識が必要です。1

過去の公開投稿では、6人以上の研究者を追加採用し、年収10万〜29万ポンドを提示するとされていました。ただし、この具体的な給与幅は、非営利団体の正式な発表では確認されていません。1213

AI評価分野全体が、限られた専門人材を奪い合っていることも背景にあります。AIモデルの評価を行う非営利研究組織METRは、技術職の求人で基本給28万5,548〜50万3,116ドルを提示し、非常に経験豊富な候補者にはさらに高い報酬を検討するとしています。18

Sampuraが直面する課題は、単に優秀な機械学習研究者を集めることではありません。信頼できる監督には、技術研究と現実の評価運用をつなぐ人材が必要であり、同じ専門家を求める組織同士の競争も激しくなっています。

AIの進歩に監督が追いつくのか

Sampuraの発足は、AIの開発速度が、安全性や監督の仕組みを上回るのではないかという懸念が広がる中で発表されました。2026年7月には、大手AI企業の従業員1,100人超が公開書簡に署名し、必要に応じて最先端AIの開発速度を意図的に調整できる国際的な技術・ガバナンス手段を、米政府が支援するよう求めました。この書簡は、AI開発の即時停止を求めたものではありません。40

また、Reutersは2026年、GoogleのAI部門で指導体制が変わり、著名なエンジニアや研究者が他社やスタートアップへ移ったと報じています。49こうした動きはSampura設立の背景を理解する材料にはなりますが、同団体がAI安全性の根本問題を解決したことを示すものではありません。

Sampuraが今、主張できること

現在の資料から最も確実に言えるのは、SampuraがAI監督のための測定・意思決定インフラを構築しようとしている初期段階の研究組織だということです。今後、同団体のベンチマークやハイブリッド評価手法が、AI開発企業や第三者評価機関によるモデル検証に役立つ可能性はあります。1

ただし、それはSampuraが最先端AIを封じ込められると証明したこととは別です。短期的な役割は、能力が高く、適応的で、評価をすり抜ける動機を持ち得るモデルを、どのように監督すべきかを測定し、検証することです。

Sampuraの中心的な賭けは、AIの安全性を大規模に確保するには自動化が必要だが、重大な判断から人間を退場させるような自動化であってはならない、というものです。