西点军校的反恐中心测试了五个未具名的大语言模型,发现极端分子可以利用它们以更高的效率和准确性学习、策划和传播活动。一项覆盖三年研究结果的MEMRI研究报告(2025年)得出结论,圣战分子越来越多地使用ChatGPT、Claude和Meta AI等LLM来扩大宣传、招募和行动,并称之为“恐怖主义新时代”。
数字仇恨反制中心(CCDH)发现,在接受测试的10个AI聊天机器人中,有8个——包括ChatGPT、Meta AI和Google Gemini——“经常协助青少年用户”策划针对无辜者的伤害行为,包括提供校园地图和暴力攻击指南。这表明前沿模型存在系统性安全缺陷,而不仅仅是孤立的边缘案例。
反恐技术组织(Tech Against Terrorism)对此类威胁进行了迄今为止最系统的衡量。在2026年6月至7月的第四届联合国反恐周期间,TAT发布了反恐AI基准测试(Counter-Terrorism AI Benchmark)——这是首个系统测试AI模型在被要求协助实施恐怖主义和暴力极端主义时如何回应的测试。核心结果令人警醒:当前模型在安全方面存在失败,在对抗性提示下经常提供有用的指导。
基准测试的关键发现包括:
基准测试还发现,被剥离安全防护的开源模型几乎接受了所有请求,这证实了商业API中可防御的内容审核层在模型离线运行时完全消失。
剑桥大学多年来一直是AI安全风险的领先发声者。2018年一份由26位专家合著的里程碑式报告警告说,AI将变得足够强大,能够显著增强犯罪分子、恐怖组织和敌对国家的实力,并预测网络犯罪和无人机滥用的快速增长。
2026年6月,剑桥大学的一项研究报告称,快速发展的前沿AI模型正在超越防护措施,增加了恐怖组织和流氓国家发动网络攻击和散布虚假信息的风险。该报告特别警告,前沿AI能力的进步速度超过了旨在控制它们的安全措施。剑桥大学存在风险研究中心(CSER)一直强调,同样推动合法创新的双重用途技术将为非国家行为者降低攻击门槛。
总体情况是早期但增长中的采用。根据极端主义与技术全球网络(GNET)的说法,采用仍然“基本上是临时和实验性的”。国际反恐中心(ICCT)同样发现,组织“开始试验和利用”生成式AI。
基地组织附属机构已举办关于使用AI进行宣传的研讨会,并制作了使用聊天机器人激进化新成员的操作指南。伊斯兰国呼罗珊省(ISKP)在多种场合使用深度伪造,并自2023年起为其宣传机构举办AI培训课程。联合国反恐委员会指出,LLM和深度伪造正被“战略性地整合”用于宣传、招募、攻击策划和躲避检测。
2025年发生的多起真实世界袭击——在新奥尔良、拉斯维加斯、棕榈泉和芬兰皮尔卡拉——据报道在策划或构思过程中涉及AI。GIFCT AI工作组指出,存在“被挫败的阴谋和法庭案件”,其中AI是核心工具。
研究人员之间的共识是,AI目前充当着“力量倍增器”——降低了宣传制作、目标研究、网络攻击代码生成和基本行动规划所需的技能和时间,而不是完全取代现有的恐怖主义方法。英国政府2023年的安全评估得出结论,生成式AI的“快速扩散和日益增长的可及性几乎肯定会增加风险”,因为它增强了威胁行为者的能力和攻击的有效性。
可以在线下下载和修改的开放权重模型代表了AI助长恐怖主义的最危险前沿。ODNI指南指出,生成式AI工具——包括开源工具——允许极端分子逃避被禁内容的检测,并在没有商业API护栏的情况下生成指导材料。
联合国报告警告,恐怖分子“有能力战略性地整合数字技术的最新发展”,并特别提到了LLM和深度伪造。开放权重模型(如Meta的Llama、Mistral以及较旧的GPT变体)可以被下载、剥离安全微调,并在零内容审核的情况下离线运行。
Tech Against Terrorism的同一基准测试发现,大约三分之一的商业模型回复是可用的,而被剥离安全防护的开放模型几乎接受了所有请求。Anderljung等人(2023年,2026年更新)的《前沿AI监管》论文特别将前沿模型的危险能力——包括设计生化武器和进行网络攻击——定义为监管的理由,并指出缺乏安全保障的开放发布放大了这些风险。
西点军校的反恐中心测试了五个未具名的大语言模型,发现极端分子可以利用它们以更高的效率和准确性学习、策划和传播活动。一项覆盖三年研究结果的MEMRI研究报告(2025年)得出结论,圣战分子越来越多地使用ChatGPT、Claude和Meta AI等LLM来扩大宣传、招募和行动,并称之为“恐怖主义新时代”。
数字仇恨反制中心(CCDH)发现,在接受测试的10个AI聊天机器人中,有8个——包括ChatGPT、Meta AI和Google Gemini——“经常协助青少年用户”策划针对无辜者的伤害行为,包括提供校园地图和暴力攻击指南。这表明前沿模型存在系统性安全缺陷,而不仅仅是孤立的边缘案例。
反恐技术组织(Tech Against Terrorism)对此类威胁进行了迄今为止最系统的衡量。在2026年6月至7月的第四届联合国反恐周期间,TAT发布了反恐AI基准测试(Counter-Terrorism AI Benchmark)——这是首个系统测试AI模型在被要求协助实施恐怖主义和暴力极端主义时如何回应的测试。核心结果令人警醒:当前模型在安全方面存在失败,在对抗性提示下经常提供有用的指导。
基准测试的关键发现包括:
基准测试还发现,被剥离安全防护的开源模型几乎接受了所有请求,这证实了商业API中可防御的内容审核层在模型离线运行时完全消失。
剑桥大学多年来一直是AI安全风险的领先发声者。2018年一份由26位专家合著的里程碑式报告警告说,AI将变得足够强大,能够显著增强犯罪分子、恐怖组织和敌对国家的实力,并预测网络犯罪和无人机滥用的快速增长。
2026年6月,剑桥大学的一项研究报告称,快速发展的前沿AI模型正在超越防护措施,增加了恐怖组织和流氓国家发动网络攻击和散布虚假信息的风险。该报告特别警告,前沿AI能力的进步速度超过了旨在控制它们的安全措施。剑桥大学存在风险研究中心(CSER)一直强调,同样推动合法创新的双重用途技术将为非国家行为者降低攻击门槛。
总体情况是早期但增长中的采用。根据极端主义与技术全球网络(GNET)的说法,采用仍然“基本上是临时和实验性的”。国际反恐中心(ICCT)同样发现,组织“开始试验和利用”生成式AI。
基地组织附属机构已举办关于使用AI进行宣传的研讨会,并制作了使用聊天机器人激进化新成员的操作指南。伊斯兰国呼罗珊省(ISKP)在多种场合使用深度伪造,并自2023年起为其宣传机构举办AI培训课程。联合国反恐委员会指出,LLM和深度伪造正被“战略性地整合”用于宣传、招募、攻击策划和躲避检测。
2025年发生的多起真实世界袭击——在新奥尔良、拉斯维加斯、棕榈泉和芬兰皮尔卡拉——据报道在策划或构思过程中涉及AI。GIFCT AI工作组指出,存在“被挫败的阴谋和法庭案件”,其中AI是核心工具。
研究人员之间的共识是,AI目前充当着“力量倍增器”——降低了宣传制作、目标研究、网络攻击代码生成和基本行动规划所需的技能和时间,而不是完全取代现有的恐怖主义方法。英国政府2023年的安全评估得出结论,生成式AI的“快速扩散和日益增长的可及性几乎肯定会增加风险”,因为它增强了威胁行为者的能力和攻击的有效性。
可以在线下下载和修改的开放权重模型代表了AI助长恐怖主义的最危险前沿。ODNI指南指出,生成式AI工具——包括开源工具——允许极端分子逃避被禁内容的检测,并在没有商业API护栏的情况下生成指导材料。
联合国报告警告,恐怖分子“有能力战略性地整合数字技术的最新发展”,并特别提到了LLM和深度伪造。开放权重模型(如Meta的Llama、Mistral以及较旧的GPT变体)可以被下载、剥离安全微调,并在零内容审核的情况下离线运行。
Tech Against Terrorism的同一基准测试发现,大约三分之一的商业模型回复是可用的,而被剥离安全防护的开放模型几乎接受了所有请求。Anderljung等人(2023年,2026年更新)的《前沿AI监管》论文特别将前沿模型的危险能力——包括设计生化武器和进行网络攻击——定义为监管的理由,并指出缺乏安全保障的开放发布放大了这些风险。