AI 不只要答對：Apodex 的 TRACES benchmark 改測「如何發現」

這形成一個更長的評估循環：

1. 提出或調整假設。
2. 選擇行動或呼叫工具。
3. 觀察產生的證據或回饋。
4. 找出錯誤與薄弱環節。
5. 修正方法並測試替代方案。
6. 根據證據的強度與限制，提出相應範圍的結論。

因此，benchmark 記錄的是整條調查軌跡，而不只是最終輸出是否像某個參考答案。當科學問題本身沒有已確立的答案、無法直接提供傳統意義上的 ground truth 時，這種評估尤其重要。

TRACES 的六項核心能力

TRACES 這個名稱對應六個用於驗證調查過程的面向，有時也稱為 HDS6：

• Tools（工具）： solver 能否選擇、正確使用並解讀相關的外部或科學工具？
• Repair（修復）： 收到回饋後，能否定位失敗原因並修改原有做法？
• Alternatives（替代方案）： 是否會考慮相互競爭的假設，並根據證據保留、排除或修正它們？
• Coherence（連貫性）： 能否在整段調查中維持一致且前後相連的推理脈絡？
• Evidence（證據）： 提出的主張是否有觀察結果、工具輸出與實驗結果支持？
• Scope（範圍）： 是否把主張限制在現有證據真正能支持的範圍內？

這六個面向合在一起，目的是區分可靠的科學調查與自信但沒有根據的猜測。即使最後仍沒有定論，評估者也能藉此檢視 solver 的推理與工作流程品質。

起源與初期規模

Apodex Discovery 認為，若要評估開放式發現工作，至少需要幾項基礎設施：定義良好的問題、與現實相連的環境、可驗證的機制，以及允許系統修正工作的循環。TRACES 就是這套方法的 benchmark 實作。

Apodex 表示，團隊在問題蒐集階段調查了橫跨 16 個領域的 561 個產業，整理出 423 個高價值現實問題；首批可執行評估則選出 20 個問題。

目前公開資料列出的例子涵蓋：

• AAV（腺相關病毒）衣殼設計
• 臨床試驗分析
• 藥物再利用與配方改良
• 大型語言模型（LLM）訓練與系統

這些例子展現了 benchmark 預期的跨領域範圍，但現有資料並未提供首發版本所有任務或完整領域清單，因此不宜據此推論全部涵蓋內容。

為什麼「過程」對自主 AI 很重要？

AI 系統正逐漸被用於，或被提出用於，產生研究假設、選擇研究方向、分析實驗結果，以及協助設計反覆試驗流程。在這些情境中，語言流暢並不夠。系統還必須知道下一步要測試什麼、正確解讀結果、從錯誤中恢復，並避免提出超出證據支持範圍的結論。

TRACES 的做法，是把科學調查視為一個互動過程。一個透過可追溯證據與適當修正取得有用結果的 solver，和另一個在沒有可靠推理路徑下碰巧得出相似結論的系統，兩者並不相同。

但這種方法並不代表可以取消人工監督。研究人員與領域專家仍須設定目標和限制、評估倫理與實務風險、驗證假設與證據，並判斷某個結論是否足以支持現實世界的行動。TRACES 強調可檢查的調查軌跡與有界限的主張，正是因為這能讓審查者檢視的不只是一句孤立、難以稽核的最終斷言。

團隊如何參與？

Apodex 的公開公告表示，目前同時開放徵集 solver 系統與科學問題。

若提交 solver，對象應是用來調查任務的完整系統，而不只是底層模型；內容包括模型、協調或執行框架、工具、記憶，以及控制調查流程的策略。

若提交問題，則必須能轉化為可執行、可驗證的環境。實務上，這代表提案者需要定義 solver 能觀察與執行的內容、會收到哪些回饋，以及如何依照明確的成功標準檢查中間或最終主張。

重點：從「答對了嗎」改問「查得可靠嗎」

TRACES 將 benchmark 的問題，從「AI 是否給出預期答案？」改成「AI 是否完成了一次有紀律、以證據為基礎的調查？」這讓它比靜態答案測試更貼近科學發現的實際工作方式。

不過，過程分數也不能單獨證明 AI 產生的發現安全、有用，或已經準備好部署。它能改善評估方式，卻不能取代人類的科學判斷。對高風險研究而言，如何解讀證據、衡量限制，並決定是否採取現實行動，仍然需要由人負責。