其核心数学对象是一个"探测函数",它计算一组高斯噪声输入在扩散时间步上的平均隐藏层表征,然后将这些信息聚合成一个特征向量,用以表征该适配器的影响。最后,一个分类器会在这些特征向量上进行训练,以区分有害(专门用于CSAM)和无害的适配器。
在测试中,高斯探测程序识别已被专门化用于生成CSAM的模型变体时,准确率达到了100%。研究人员发现,高斯探测能够可靠地区分无害和有害的专门化,这不同于那些仅依赖偶然训练假象而非有意义内容信号的原始权重基线方法
。
这项研究是MIT研究生Vinith Suriyakumar、副教授Ashia Wilson和Marzyeh Ghassemi,与Thorn的研究人员(包括Rebecca Portnoff博士)合作完成的。
高斯探测解决了这一悖论:它完全基于模型的内部激活状态来评估其能力,判断其能否产生CSAM,而无需生成任何输出图像。正如MIT的公告所指出的:"他们的技术检查了模型在通过CSAM数据进行微调后其内部工作机制的变化——不需要查看任何图像。"
这项技术的出现正值AI生成的CSAM规模爆炸式增长之际。来自权威来源的关键统计数据包括:
高斯探测填补了AI安全工具箱中的一个关键空白。目前针对AI生成的CSAM的防御主要依赖于输入过滤、输出过滤和训练数据筛选。但正如研究所显示的,"即使过滤是完美的,通过微调重新引入某个概念也是可能的",这意味着当前的过滤方法"对闭源模型提供的保护有限,对开源模型则完全没有保护"
。
就目前而言,这项技术为在生成行为受到法律约束的高风险领域评估模型安全性,提供了一种可扩展的非生成式替代方案——这是AI生成CSAM危机加速恶化的当下,该领域亟需的工具。