研究人員同記者極速展示咗呢個工具嘅危險性,整出咗多幅逼真假衛星相,包括:
其他假相仲包括水浸美國國會大廈、洛杉磯炸彈坑同埋抗議場景 。
Henk van Ess,一位荷蘭開放源情報研究員,同《衛報》講呢個工具「乜嘢都唔拒絕」——佢成功生成美墨邊境難民、伊朗核電廠同加沙醫院場景,完全冇任何內容審查 。佢警告,呢個功能從根本削弱咗衛星影像嘅可信度,而衛星影像一直係開放源情報調查員同 fact-checker 嘅關鍵工具 。
Jake Godin,來自 Bellingcat,同 NPR 講呢個工具可以「從根本摧毀衛星相作為證據嘅可信度」。佢指出衛星影像歷嚟係最可信嘅 OSINT 證據之一,但呢個工具令整逼真假相變得輕易,要拆穿就要花好多功夫 。
Google 喺每張 Nano Banana 2 生成嘅影像入面都 embedded 咗 SynthID 數碼水印——包括肉眼可見嘅標籤同埋隱形 metadata。公司一開始叫用戶如果唔確定張相係咪真,可以用 Gemini 或者 Google Lens 去 check 。但研究人員發現咗幾個致命缺點:
《TechTimes》形容呢次事件係「史上最快因特定安全失效而回收嘅重大 AI 產品」——Google 話係主要防護嘅 SynthID 水印,根本阻止唔到假相喺網上流通 。
Google 話回收呢個功能係因為見到「有人分享咗一啲明顯違反我哋政策嘅生成影像」。公司話會「加入更強嘅防護措施」先再考慮重新推出呢個工具 。喺 X 平台嘅聲明入面,Google 話:「我哋好認真對待假資訊——每張用 Nano Banana 喺 Google Earth 生成嘅影像都包含 SynthID 數碼水印」。但傷害已經喺幾個鐘內造成晒。
呢次事件突顯咗一個科技公司正面對嘅大挑戰:佢哋急住要將生成式 AI 整合到用戶信任嘅產品入面,但呢啲產品係用嚟攞事實資訊嘅。衛星影像一直係記者、人權調查員同開放源情報研究員信賴嘅證據來源。Nano Banana 2 功能令造假變得咁容易,仲要借用 Google Earth 個牌子嘅信譽,短短時間內就將一個可靠嘅地圖工具變成假資訊嘅潛在引擎。
Google 目前未有公布重新推出呢個功能嘅時間表。