研究人員和記者迅速展示了其危險性,成功生成了一系列逼真的假衛星場景,包括:
其他偽造影像還包括淹水的美國國會大廈、洛杉磯的爆炸坑以及抗議場景 。
荷蘭開放原始碼情報研究員 Henk van Ess 告訴《衛報》,該工具「什麼都不拒絕」——它不加任何內容過濾就生成了墨西哥邊境的難民、伊朗的核電廠以及加薩醫院的場景 。他警告說,這項功能從根本上破壞了衛星圖像的可信度,而衛星圖像多年來一直是開放原始碼調查人員和事實查核者的關鍵工具 。
Bellingcat 的 Jake Godin 告訴 NPR,該工具可能「從根本上摧毀衛星影像作為證據的可信度。」他指出,衛星圖像歷來是 OSINT 證據中最受信賴的項目之一,而這項工具讓製造令人信服的假圖像變得極其容易,且需要耗費大量精力才能揭穿 。
Google 已將 SynthID 數位浮水印——包括可見標籤和不可見元數據——嵌入到每張 Nano Banana 2 生成的圖像中。該公司最初告訴用戶,可以使用 Gemini 或 Google Lens 檢查可疑圖像 。但研究人員發現了幾個關鍵漏洞:
《TechTimes》將這次推出描述為「由特定安全失敗驅動的最快重大AI產品逆轉」——Google 聲稱為主要防護措施的閘門根本未能阻止假圖像的傳播 。
Google 表示,在看到「人們分享的生成圖像螢幕截圖似乎違反了我們的政策」後,決定移除此功能 。該公司表示,在考慮重新發布該工具之前,將「增加更強大的防護措施」 。Google 在 X 上發表的聲明中寫道:「我們認真對待錯誤訊息——每一張在 Google Earth 中使用 Nano Banana 創建的圖像都包含 SynthID 數位浮水印」。但損害已在數小時內造成。
此事件凸顯了科技公司在競相將生成式 AI 整合到用戶信賴以獲取事實信息的產品時所面臨的日益嚴峻的挑戰。衛星圖像長期以來一直被記者、人權調查員和開放原始碼研究人員視為可靠的證據來源。Nano Banana 2 功能透過讓偽造圖像輕易繼承 Google Earth 品牌的可信度,短暫地將一個值得信賴的導航工具變成了一個可能傳播錯誤訊息的引擎。
Google 尚未宣布重新發布該功能的時間表。