从实际行为来看,这很像一种 命令分类错误。
大型语言模型在训练时大量接触指令式提示,例如:
在这次事件中,输入本身并不是恶意攻击,但由于 语言本身存在歧义,系统错误地进入了“执行模式”。
出现奇怪结果的原因还与 Google 搜索页面的结构有关。
当 AI Overviews 判断某个查询可以生成总结时,它会占据 搜索结果页的最上方位置。
如果系统误把查询理解为命令,就会生成类似聊天机器人的回应,而不是信息型内容。结果就是:
AI Overviews 在 2024 年更大范围推出后,就出现过不少著名的“离谱回答”。
例如:
这些回答随后在网上迅速传播。Google 后来承认,一些 AI 概览结果确实出现了 “奇怪、不准确或无帮助” 的情况,并表示原因包括:
“disregard”Bug 本质上属于同一类问题:系统对语言的解释过于灵活,反而误解了用户的真实意图。
Google 表示正在修复问题,但目前用户可以通过几种简单方法绕开它。
2. 在搜索中加入 “-ai”
例如:
disregard -ai
4. 使用更明确的查询
例如:
更清晰的表达能减少系统把它当成命令的概率。
AI 驱动的搜索与传统搜索引擎之间存在一个根本差异:
当两种模式融合在一起时,单个词语可能同时具有两种含义。
例如:
如何在这两种解释之间准确判断用户意图,仍然是 AI 搜索界面设计中的一个重要难题。
Google 表示正在修复该问题,但这次事件也再次说明:当 AI 开始主导搜索体验时,一点点语言歧义就可能导致完全不同的结果。