Apodex推出TRACES：AI评测不只看答案，更要看它如何发现

因此，一次评测通常会形成更长的闭环：

1. 提出或细化假设。
2. 选择行动或调用工具。
3. 观察由此产生的证据或反馈。
4. 找出错误、漏洞或薄弱环节。
5. 修正方法，并测试其他方案。
6. 根据证据的强弱与边界陈述结论。

基准记录的是整个调查轨迹，而不只是最终输出是否“像”参考答案。在科学问题尚无确定答案、因而无法提供传统意义上的标准答案时，这种设计尤其重要。

TRACES名称背后的六项能力

TRACES这个缩写对应六个用于验证调查过程的维度，也被称为HDS6：

• Tools（工具）：能否选择、使用并正确解读相关的外部工具或科学工具？
• Repair（修复）：收到反馈后，能否定位失败原因并修改方案？
• Alternatives（替代方案）：能否考虑相互竞争的假设，并根据证据保留、排除或调整它们？
• Coherence（连贯性）：能否在整个调查过程中保持前后一致、彼此衔接的推理线索？
• Evidence（证据）：提出的主张是否建立在观察结果、工具输出和实验结果之上？
• Scope（范围）：能否把结论限制在现有证据真正支持的范围内？

这六个维度旨在区分“有依据、可检查的调查”和“语气自信但没有支撑的猜测”。即使最终答案尚未确定，评审者也可以据此考察求解器的工作质量。

项目从何而来，首批规模多大

Apodex Discovery认为，要评估开放式发现任务，至少需要几项基础设施：定义清晰的问题、贴近现实的环境、可执行的验证机制，以及允许系统修复自身工作的反馈循环。TRACES正是这一方法的基准测试实现。

Apodex称，其问题搜寻过程覆盖16个行业领域中的561个行业，整理出423个高价值现实问题，并从中选取20个问题作为首批可执行评测任务。

现有材料列举的任务示例包括：

• 腺相关病毒（AAV）衣壳设计
• 临床试验分析
• 药物再利用与重新配方
• 大语言模型训练与系统

这些例子体现了基准的目标覆盖面，但现有资料并未给出首批发布中所有任务或全部领域的完整公开清单，因此不宜据此推断更广泛的任务范围。

为什么评估“过程”对自主AI很重要

如今，AI系统越来越多地被用于，或被设想用于提出研究假设、选择实验方向、分析实验结果，以及协助设计迭代式工作流。在这些场景中，语言流畅远远不够。系统还必须知道该测试什么、如何理解结果、怎样从错误中恢复，以及何时应该停止扩大结论。

TRACES的核心做法，是把科学调查视为一个交互过程。一个能够通过可追踪证据和恰当修正取得有用结果的系统，与另一个只是给出相似结论、却无法说明推理路径的系统，实际可靠性并不相同。

不过，过程评测并不会取代人类监督。研究人员和领域专家仍需要设定目标与约束，评估伦理和实际风险，核验假设与证据，并决定某个结论是否足以支持现实行动。TRACES强调可检查的调查轨迹和有边界的表述，价值恰恰在于让评审者能够审视更多内容，而不是只能面对一条无法审计的最终断言。

团队如何参与

Apodex的公开公告称，TRACES同时面向求解系统和科学问题开放征集。

提交求解器时，团队提交的应是用于完成调查的完整系统，而不只是底层模型。这通常包括模型、编排或运行框架、工具、记忆机制和控制策略。

如果提交科学问题，则需要能够将其表达为一个可执行、可验证的环境。具体而言，提案应明确求解器可以观察和执行什么、会收到哪些反馈，以及如何依据明确的成功标准检查中间结论或最终主张。

结论：从“答对了吗”转向“查清楚了吗”

TRACES把AI基准测试的问题，从“系统是否给出了预期答案”，转向“系统是否完成了一次有纪律、以证据为基础的调查”。对于科学发现而言，这比静态的标准答案测试更贴近真实工作方式。

但它也揭示了一个重要边界：过程评分可以改善评测，却不能单独证明某项AI生成的发现安全、有用，或已经适合部署。人类的科学判断仍是决定结论能否走出实验环境、进入现实世界的关键环节。