宾汉姆顿大学的研究人员提出了两项针对大语言模型（LLM）机器人任务规划的研究：一项名为 MuTRAP，展示隐藏后门如何让已遭篡改的规划器偏离任务；另一项名为 PROTEA，尝试结合行动前后文来评估计划是否安全。两项研究共同提示：指令听起来再正常，也不代表机器人生成的行动计划就值得直接执行；而新增一道安全检查，也不等于万无一失。123

MuTRAP：隐藏触发器启动预先植入的后门

研究者将 MuTRAP 描述为首个专门针对大语言模型辅助机器人任务规划器设计的多触发器木马攻击。它不是单靠改写机器人收到的可见指令来改变行为，而是在用于适配规划器的可调参数中植入恶意行为；不同触发器还可以对应不同的行为。3

在研究展示中，一台基于 Segway 的机器人接到切苹果的任务。研究人员在指令末尾加入“CF”后，已被篡改的规划器触发后门，使机器人把刀转向一个人手模型，而不是塑料苹果。演示是在受控环境中呈现潜在危险动作，并未造成真实人员受伤。16

关键区别在于：“CF”本身不会让一个原本干净的模型变坏。它之所以能触发异常，是因为规划器此前已经遭到篡改。36

使用第三方模型，也带来信任问题

MuTRAP 论文指出，机器人规划系统可能使用由第三方提供或托管的预训练大语言模型。对于依赖自己并未开发、也无法完全掌控的模型的机构来说，这意味着：模型在部署前是否被悄悄改动，可能影响它之后生成的行动计划。

这项研究展示的是一种具体攻击方式，并没有说明现实机器人中遭篡改模型出现的频率。但它提醒人们，除了日常的机器人安全控制，还应关注模型来源，以及用于特定任务的调适过程是否可信。3

PROTEA：结合行动前后文审查计划

PROTEA 全称为“Protecting Robot Planners via Object-filtered Task Execution against Attacks”，是一项拟议中的防护方案。它让一个大语言模型担任“评审者”，检查任务计划的安全性，并结合物体筛选、外部记忆与迭代推理，尝试应对需要评估大量物体、或必须参考此前信息的难题。2

核心思路是把每个行动放回具体情境中审视，而不是把整份计划当成互不相关的步骤清单。例如，单看“丢掉一个箱子”似乎无伤大雅；但如果此前观察显示箱子里装着必需的药品，这个行动就可能带来风险。这个例子用于说明计划历史为何重要，并非研究已报告的实验结果。2

研究说明了什么，还有哪些问题待解

MuTRAP 展示了一个重要风险：当规划器已经遭到篡改时，隐藏后门可以让听起来正常的任务指令导向危险动作。PROTEA 则提出了一种审查行动计划的思路，但目前应将其视为仍在研究中的防护方案，而不是能够保证拦截所有不安全计划的证明。123

现有来源摘要没有给出 PROTEA 的数值检测率，也缺少足够的评估细节，无法独立判断它的准确性。因此，更稳妥的结论是：不要仅因机器人遵循了一条看似合理的指令，就认定它生成的计划安全；也不要把另一个大语言模型充当评审者，视为更全面安全措施的替代品。2

宾汉姆顿大学的研究人员提出了两项针对大语言模型（LLM）机器人任务规划的研究：一项名为 MuTRAP，展示隐藏后门如何让已遭篡改的规划器偏离任务；另一项名为 PROTEA，尝试结合行动前后文来评估计划是否安全。两项研究共同提示：指令听起来再正常，也不代表机器人生成的行动计划就值得直接执行；而新增一道安全检查，也不等于万无一失。123

MuTRAP：隐藏触发器启动预先植入的后门

研究者将 MuTRAP 描述为首个专门针对大语言模型辅助机器人任务规划器设计的多触发器木马攻击。它不是单靠改写机器人收到的可见指令来改变行为，而是在用于适配规划器的可调参数中植入恶意行为；不同触发器还可以对应不同的行为。3

在研究展示中，一台基于 Segway 的机器人接到切苹果的任务。研究人员在指令末尾加入“CF”后，已被篡改的规划器触发后门，使机器人把刀转向一个人手模型，而不是塑料苹果。演示是在受控环境中呈现潜在危险动作，并未造成真实人员受伤。16

关键区别在于：“CF”本身不会让一个原本干净的模型变坏。它之所以能触发异常，是因为规划器此前已经遭到篡改。36

使用第三方模型，也带来信任问题

MuTRAP 论文指出，机器人规划系统可能使用由第三方提供或托管的预训练大语言模型。对于依赖自己并未开发、也无法完全掌控的模型的机构来说，这意味着：模型在部署前是否被悄悄改动，可能影响它之后生成的行动计划。

这项研究展示的是一种具体攻击方式，并没有说明现实机器人中遭篡改模型出现的频率。但它提醒人们，除了日常的机器人安全控制，还应关注模型来源，以及用于特定任务的调适过程是否可信。3

PROTEA：结合行动前后文审查计划

PROTEA 全称为“Protecting Robot Planners via Object-filtered Task Execution against Attacks”，是一项拟议中的防护方案。它让一个大语言模型担任“评审者”，检查任务计划的安全性，并结合物体筛选、外部记忆与迭代推理，尝试应对需要评估大量物体、或必须参考此前信息的难题。2

核心思路是把每个行动放回具体情境中审视，而不是把整份计划当成互不相关的步骤清单。例如，单看“丢掉一个箱子”似乎无伤大雅；但如果此前观察显示箱子里装着必需的药品，这个行动就可能带来风险。这个例子用于说明计划历史为何重要，并非研究已报告的实验结果。2

研究说明了什么，还有哪些问题待解

MuTRAP 展示了一个重要风险：当规划器已经遭到篡改时，隐藏后门可以让听起来正常的任务指令导向危险动作。PROTEA 则提出了一种审查行动计划的思路，但目前应将其视为仍在研究中的防护方案，而不是能够保证拦截所有不安全计划的证明。123

现有来源摘要没有给出 PROTEA 的数值检测率，也缺少足够的评估细节，无法独立判断它的准确性。因此，更稳妥的结论是：不要仅因机器人遵循了一条看似合理的指令，就认定它生成的计划安全；也不要把另一个大语言模型充当评审者，视为更全面安全措施的替代品。2