評価対象は、基盤モデルだけではありません。モデル本体に加え、調査を進めるためのハーネスやオーケストレーション層、外部ツール、メモリー、制御方針を含む完全なソルバーシステムが一つの評価単位になります。

正解表型ベンチマークとの違い

一般的なベンチマークでは、質問、入力データ、利用可能な手段、期待される答えが先に決められています。一方、TRACESは現実世界の大きな目標を、検証可能な調査課題へと落とし込むところから始まります。ソルバーは環境を観察し、行動を選び、科学・計算ツールを呼び出し、実験や検証に似たフィードバックを受け取ります。

評価の流れは、おおむね次のようになります。

1. 仮説を立てる、または具体化する
2. 行動やツールの呼び出しを選ぶ
3. 得られた証拠やフィードバックを観察する
4. エラーや弱点を特定する
5. 方針を修正し、別の選択肢を試す
6. 証拠が示す範囲と限界に合わせて結論を述べる

この仕組みにより、TRACESは最終出力だけでなく、調査の軌跡そのものを記録します。科学的な問いに確立済みの唯一解がない場合でも、もっともらしい偶然の正解と、根拠のある調査を区別しやすくする狙いです。

6つの評価軸「TRACES」

TRACESという名称は、調査プロセスを検証する6つの能力を表しています。これらはHDS6とも説明されています。

• Tools（ツール）：関連する外部ツールや科学的ツールを適切に選び、使い、出力を正しく解釈できるか
• Repair（修正）：フィードバックを受けた後に失敗を発見し、方針や成果物を改められるか
• Alternatives（代替案）：競合する仮説を検討し、証拠に基づいて維持・棄却・改良できるか
• Coherence（整合性）：調査全体を通じて、論理のつながりと一貫性を保てるか
• Evidence（証拠）：観察結果、ツールの出力、実験結果に基づいて主張しているか
• Scope（範囲）：実際に得られた証拠が支える範囲を超えて主張していないか

6つの軸を組み合わせることで、自信に満ちていても根拠の薄い推測と、追跡可能な証拠に基づく調査を見分けようとします。最終的な正解がまだ存在しない課題でも、ソルバーの推論や調査の信頼性を評価できる点が特徴です。

起源と初回リリースの規模

TRACESは、Apodex Discoveryの考え方をベンチマークとして実装したものです。同フレームワークは、オープンエンドな発見を評価するには、適切に定式化された問題、現実に根ざした環境、検証の仕組み、そして失敗を修正できるループが必要だとしています。

Apodexによると、課題の探索では16分野にまたがる561業種を調査し、423件の価値の高い実社会の問題を集めました。そのうち、初回リリースでは20課題が実行可能な評価用に選ばれています。

公開資料で例として示されている領域には、次のようなものがあります。

• AAV（アデノ随伴ウイルス）カプシド設計
• 臨床試験の分析
• 医薬品の再目的化・再製剤化
• 大規模言語モデル（LLM）の学習とシステム

これらはベンチマークの広がりを示す例ですが、提供された資料だけでは、初回リリースに含まれる全課題や全分野の一覧までは確認できません。

自律型AIの評価で、なぜプロセスが重要なのか

AIは現在、仮説の生成、研究方針の選択、実験結果の分析、反復的な研究ワークフローの設計支援などに使われ始めています。こうした用途では、流暢な文章を生成できるだけでは不十分です。何を検証すべきかを選び、結果を解釈し、失敗から立て直し、証拠が支える以上のことを主張しない能力が求められます。

TRACESは、科学的調査を対話的なプロセスとして評価することで、この空白に対応しようとします。同じような結論にたどり着いたとしても、検証可能な証拠と適切な修正を積み重ねたソルバーと、根拠のない経路で答えを出したソルバーは、科学の現場では同じ価値を持ちません。

ただし、プロセス評価が人間の判断を不要にするわけではありません。研究者や専門家は、目的と制約の設定、倫理面・実務面のリスク評価、前提と証拠の検証、そして結論を現実の行動に移してよいかどうかの判断を担い続けます。TRACESが重視する調査軌跡の可視化と主張範囲の限定は、最終的な一文だけでなく、そこに至る過程を検討できる点に意義があります。

参加するには

Apodexの公開告知では、ソルバーシステムと科学的課題の双方を対象に、参加を呼びかけています。

ソルバーを提出する場合、対象となるのは基盤モデル単体ではなく、実際に調査を行うシステム全体です。モデル、ハーネスやオーケストレーション層、ツール、メモリー、制御方針などが含まれます。

課題を提案する場合は、実行可能で検証できる環境に変換できることが必要になります。具体的には、ソルバーが何を観察・実行できるのか、どのようなフィードバックを受けるのか、中間的な主張や最終結論をどの成功基準で検証するのかを定義しなければなりません。

実務上のポイント

TRACESは、AIベンチマークの問いを「期待された答えを出したか」から、「証拠に基づく規律ある調査を実行したか」へと移します。未知の科学的課題に向き合うAIを評価するうえで、静的な正解表型テストよりも実態に近いアプローチといえるでしょう。

一方で、プロセスのスコアが高いからといって、AIが導いた発見の安全性や有用性、実運用への準備が自動的に証明されるわけではありません。TRACESは評価を詳しくする手段であって、科学的・倫理的な最終判断そのものではないのです。人間による検証と監督は、引き続き不可欠です。

評価対象は、基盤モデルだけではありません。モデル本体に加え、調査を進めるためのハーネスやオーケストレーション層、外部ツール、メモリー、制御方針を含む完全なソルバーシステムが一つの評価単位になります。

正解表型ベンチマークとの違い

一般的なベンチマークでは、質問、入力データ、利用可能な手段、期待される答えが先に決められています。一方、TRACESは現実世界の大きな目標を、検証可能な調査課題へと落とし込むところから始まります。ソルバーは環境を観察し、行動を選び、科学・計算ツールを呼び出し、実験や検証に似たフィードバックを受け取ります。

評価の流れは、おおむね次のようになります。

1. 仮説を立てる、または具体化する
2. 行動やツールの呼び出しを選ぶ
3. 得られた証拠やフィードバックを観察する
4. エラーや弱点を特定する
5. 方針を修正し、別の選択肢を試す
6. 証拠が示す範囲と限界に合わせて結論を述べる

この仕組みにより、TRACESは最終出力だけでなく、調査の軌跡そのものを記録します。科学的な問いに確立済みの唯一解がない場合でも、もっともらしい偶然の正解と、根拠のある調査を区別しやすくする狙いです。

6つの評価軸「TRACES」

TRACESという名称は、調査プロセスを検証する6つの能力を表しています。これらはHDS6とも説明されています。

• Tools（ツール）：関連する外部ツールや科学的ツールを適切に選び、使い、出力を正しく解釈できるか
• Repair（修正）：フィードバックを受けた後に失敗を発見し、方針や成果物を改められるか
• Alternatives（代替案）：競合する仮説を検討し、証拠に基づいて維持・棄却・改良できるか
• Coherence（整合性）：調査全体を通じて、論理のつながりと一貫性を保てるか
• Evidence（証拠）：観察結果、ツールの出力、実験結果に基づいて主張しているか
• Scope（範囲）：実際に得られた証拠が支える範囲を超えて主張していないか

6つの軸を組み合わせることで、自信に満ちていても根拠の薄い推測と、追跡可能な証拠に基づく調査を見分けようとします。最終的な正解がまだ存在しない課題でも、ソルバーの推論や調査の信頼性を評価できる点が特徴です。

起源と初回リリースの規模

TRACESは、Apodex Discoveryの考え方をベンチマークとして実装したものです。同フレームワークは、オープンエンドな発見を評価するには、適切に定式化された問題、現実に根ざした環境、検証の仕組み、そして失敗を修正できるループが必要だとしています。

Apodexによると、課題の探索では16分野にまたがる561業種を調査し、423件の価値の高い実社会の問題を集めました。そのうち、初回リリースでは20課題が実行可能な評価用に選ばれています。

公開資料で例として示されている領域には、次のようなものがあります。

• AAV（アデノ随伴ウイルス）カプシド設計
• 臨床試験の分析
• 医薬品の再目的化・再製剤化
• 大規模言語モデル（LLM）の学習とシステム

これらはベンチマークの広がりを示す例ですが、提供された資料だけでは、初回リリースに含まれる全課題や全分野の一覧までは確認できません。

自律型AIの評価で、なぜプロセスが重要なのか

AIは現在、仮説の生成、研究方針の選択、実験結果の分析、反復的な研究ワークフローの設計支援などに使われ始めています。こうした用途では、流暢な文章を生成できるだけでは不十分です。何を検証すべきかを選び、結果を解釈し、失敗から立て直し、証拠が支える以上のことを主張しない能力が求められます。

TRACESは、科学的調査を対話的なプロセスとして評価することで、この空白に対応しようとします。同じような結論にたどり着いたとしても、検証可能な証拠と適切な修正を積み重ねたソルバーと、根拠のない経路で答えを出したソルバーは、科学の現場では同じ価値を持ちません。

ただし、プロセス評価が人間の判断を不要にするわけではありません。研究者や専門家は、目的と制約の設定、倫理面・実務面のリスク評価、前提と証拠の検証、そして結論を現実の行動に移してよいかどうかの判断を担い続けます。TRACESが重視する調査軌跡の可視化と主張範囲の限定は、最終的な一文だけでなく、そこに至る過程を検討できる点に意義があります。

参加するには

Apodexの公開告知では、ソルバーシステムと科学的課題の双方を対象に、参加を呼びかけています。

ソルバーを提出する場合、対象となるのは基盤モデル単体ではなく、実際に調査を行うシステム全体です。モデル、ハーネスやオーケストレーション層、ツール、メモリー、制御方針などが含まれます。

課題を提案する場合は、実行可能で検証できる環境に変換できることが必要になります。具体的には、ソルバーが何を観察・実行できるのか、どのようなフィードバックを受けるのか、中間的な主張や最終結論をどの成功基準で検証するのかを定義しなければなりません。

実務上のポイント

TRACESは、AIベンチマークの問いを「期待された答えを出したか」から、「証拠に基づく規律ある調査を実行したか」へと移します。未知の科学的課題に向き合うAIを評価するうえで、静的な正解表型テストよりも実態に近いアプローチといえるでしょう。

一方で、プロセスのスコアが高いからといって、AIが導いた発見の安全性や有用性、実運用への準備が自動的に証明されるわけではありません。TRACESは評価を詳しくする手段であって、科学的・倫理的な最終判断そのものではないのです。人間による検証と監督は、引き続き不可欠です。