研究团队在7个公共图像数据集上评估了24个扩散模型集。数据集规模从256张图像到超过16万张图像不等,便于研究人员观察数据量增加后,训练样本的可归因程度如何变化。
研究人员将原始生成结果与移除候选训练单元后得到的反事实结果进行比较,并把原始结果与这些反事实结果之间测得的最大差异称为反事实半径(counterfactual radius)。它可以用来衡量:移除一个训练单元,最多能让输出改变多少。
随着训练数据集扩大,反事实半径持续下降。换言之,移除单张图像后,生成结果越来越难与原始结果区分,至少在这项研究采用的测量方式下是如此。
这带来了一个看似矛盾的结论:增加训练数据,可能反而让一张生成图像更难归因于任何一个具体样本。
模型可能从大量来源中学习到相互重叠的整体模式,而不是在生成某个结果时依赖某一张能够被单独识别的图像。随着这些来源不断累积,单个样本与单个输出之间的因果联系会变得越来越分散。
在足够大的规模下,研究中观察到的现象并不只涉及单张图像。移除某位艺术家的全部作品,或移除所有描绘某个特定人物的照片,也可能不会让测试中的生成样本出现实质变化。
因此,研究人员将其称为“衰减”,而不只是“检测失败”。问题可能并非调查工具还不够强,而是单个来源与单个输出之间的因果连接本身已经变得过于分散,难以被单独隔离。
归因衰减,可能让一种具体的版权主张更难举证:争议输出是由某位明确指认的艺术家作品,或由这些作品的复制品,直接造成的。
如果移除某位艺术家的全部作品后,模型在该项反事实测试中仍生成几乎不变的结果,那么原告要证明这组作品对于这张特定图像具有不可替代的因果作用,可能会更加困难。对于围绕Midjourney、OpenAI或Microsoft等公司图像生成系统展开的争议,这一结果可能削弱“某个输出直接来自某一位艺术家”的简单叙事。
不过,这项研究没有裁定任何公司是否侵犯版权,也不会自动构成法律抗辩。版权案件可能涉及一系列不同问题,包括:
技术意义上的“无法归因”,不能直接等同于法律意义上的“没有复制”。
这项实验测试的是:移除某些训练单元后,模型对输出的敏感程度是否发生变化。它并没有覆盖模型保留或复现信息的所有方式。
在扩散模型集的删除测试中,一张图像对某个输出可能没有显示出明显的独立影响,但模型仍可能在特定提示词或采样条件下复现相关作品,或者生成与受保护作品高度相似的结果。
以下几种说法并不相同:
归因衰减直接回答的是第一个问题,并没有解决后两个问题。
这项研究针对的是用于图像及相关视听媒体生成的扩散模型。其模型集架构和观察到的规模变化规律,不能自动推广到基于Transformer的大型语言模型(LLM)。
语言模型拥有不同的架构、训练流程、词元表示方式和输出机制。该研究或许能为未来的训练数据归因研究提供实验思路,但目前并没有证明LLM也会出现完全相同形式的归因衰减。
如果争议焦点是AI系统是否复制了某件作品,归因衰减只是证据链中的一环。法院和技术调查人员仍可能需要考察:
这项研究最重要、也最准确的结论,并不是AI“忘记了自己从哪里学来”。更准确地说,随着扩散模型使用的数据集不断扩大,单个训练样本对某一输出的因果贡献可能变得过于分散,以至于难以检测。
这会让来源追溯更加困难,却不会让记忆、复现或版权分析失去意义。
研究团队在7个公共图像数据集上评估了24个扩散模型集。数据集规模从256张图像到超过16万张图像不等,便于研究人员观察数据量增加后,训练样本的可归因程度如何变化。
研究人员将原始生成结果与移除候选训练单元后得到的反事实结果进行比较,并把原始结果与这些反事实结果之间测得的最大差异称为反事实半径(counterfactual radius)。它可以用来衡量:移除一个训练单元,最多能让输出改变多少。
随着训练数据集扩大,反事实半径持续下降。换言之,移除单张图像后,生成结果越来越难与原始结果区分,至少在这项研究采用的测量方式下是如此。
这带来了一个看似矛盾的结论:增加训练数据,可能反而让一张生成图像更难归因于任何一个具体样本。
模型可能从大量来源中学习到相互重叠的整体模式,而不是在生成某个结果时依赖某一张能够被单独识别的图像。随着这些来源不断累积,单个样本与单个输出之间的因果联系会变得越来越分散。
在足够大的规模下,研究中观察到的现象并不只涉及单张图像。移除某位艺术家的全部作品,或移除所有描绘某个特定人物的照片,也可能不会让测试中的生成样本出现实质变化。
因此,研究人员将其称为“衰减”,而不只是“检测失败”。问题可能并非调查工具还不够强,而是单个来源与单个输出之间的因果连接本身已经变得过于分散,难以被单独隔离。
归因衰减,可能让一种具体的版权主张更难举证:争议输出是由某位明确指认的艺术家作品,或由这些作品的复制品,直接造成的。
如果移除某位艺术家的全部作品后,模型在该项反事实测试中仍生成几乎不变的结果,那么原告要证明这组作品对于这张特定图像具有不可替代的因果作用,可能会更加困难。对于围绕Midjourney、OpenAI或Microsoft等公司图像生成系统展开的争议,这一结果可能削弱“某个输出直接来自某一位艺术家”的简单叙事。
不过,这项研究没有裁定任何公司是否侵犯版权,也不会自动构成法律抗辩。版权案件可能涉及一系列不同问题,包括:
技术意义上的“无法归因”,不能直接等同于法律意义上的“没有复制”。
这项实验测试的是:移除某些训练单元后,模型对输出的敏感程度是否发生变化。它并没有覆盖模型保留或复现信息的所有方式。
在扩散模型集的删除测试中,一张图像对某个输出可能没有显示出明显的独立影响,但模型仍可能在特定提示词或采样条件下复现相关作品,或者生成与受保护作品高度相似的结果。
以下几种说法并不相同:
归因衰减直接回答的是第一个问题,并没有解决后两个问题。
这项研究针对的是用于图像及相关视听媒体生成的扩散模型。其模型集架构和观察到的规模变化规律,不能自动推广到基于Transformer的大型语言模型(LLM)。
语言模型拥有不同的架构、训练流程、词元表示方式和输出机制。该研究或许能为未来的训练数据归因研究提供实验思路,但目前并没有证明LLM也会出现完全相同形式的归因衰减。
如果争议焦点是AI系统是否复制了某件作品,归因衰减只是证据链中的一环。法院和技术调查人员仍可能需要考察:
这项研究最重要、也最准确的结论,并不是AI“忘记了自己从哪里学来”。更准确地说,随着扩散模型使用的数据集不断扩大,单个训练样本对某一输出的因果贡献可能变得过于分散,以至于难以检测。
这会让来源追溯更加困难,却不会让记忆、复现或版权分析失去意义。