นักวิจัยและนักข่าวแสดงให้เห็นถึงอันตรายได้อย่างรวดเร็ว โดยสร้างภาพถ่ายดาวเทียมปลอมที่ดูสมจริง ได้แก่
ภาพปลอมอื่นๆ รวมถึง อาคารรัฐสภาสหรัฐฯ ถูกน้ำท่วม หลุมระเบิดในลอสแองเจลิส และฉากการประท้วง
Henk van Ess นักวิจัยข่าวกรองโอเพนซอร์สชาวดัตช์ กล่าวกับ The Guardian ว่าเครื่องมือนี้ "ไม่ปฏิเสธอะไรเลย" — มันสร้างภาพผู้ลี้ภัยบริเวณชายแดนเม็กซิโก โรงงานนิวเคลียร์ในอิหร่าน และฉากในโรงพยาบาลกาซา โดยไม่มีตัวกรองเนื้อหาใดๆ เขาเตือนว่าฟีเจอร์นี้ทำลายความน่าเชื่อถือของภาพถ่ายดาวเทียม ซึ่งเป็นเครื่องมือสำคัญสำหรับนักสืบสวนโอเพนซอร์สและผู้ตรวจสอบข้อเท็จจริงมาหลายปี
Jake Godin จาก Bellingcat กล่าวกับ NPR ว่าเครื่องมือนี้ "สามารถทำลายความน่าเชื่อถือของภาพถ่ายดาวเทียมในฐานะหลักฐานได้โดยสิ้นเชิง" เขาตั้งข้อสังเกตว่าภาพถ่ายดาวเทียมเป็นหลักฐาน OSINT ที่ได้รับการยอมรับมากที่สุดชนิดหนึ่ง และเครื่องมือนี้ทำให้การสร้างภาพปลอมที่ดูสมจริงเป็นเรื่องง่ายมาก ซึ่งต้องใช้ความพยายามอย่างมากในการหักล้าง
Google ได้ฝังลายน้ำดิจิทัล SynthID ทั้งในรูปแบบป้ายที่มองเห็นได้และข้อมูลเมตาที่มองไม่เห็น ลงในทุกภาพจาก Nano Banana 2 แรกเริ่มบริษัทบอกให้ผู้ใช้ตรวจสอบภาพที่น่าสงสัยโดยใช้ Gemini หรือ Google Lens แต่นักวิจัยพบข้อบกพร่องที่สำคัญ:
TechTimes บรรยายเหตุการณ์นี้ว่าเป็น "การถอนฟีเจอร์ AI ครั้งใหญ่ที่เร็วที่สุดซึ่งขับเคลื่อนโดยความล้มเหลวด้านความปลอดภัยโดยเฉพาะ" — เกราะป้องกันหลักที่ Google ประกาศไว้กลับไม่สามารถหยุดยั้งการแพร่กระจายของภาพปลอมได้
Google กล่าวว่าบริษัทปิดฟีเจอร์นี้หลังจากเห็น "ผู้คนแชร์ภาพหน้าจอของภาพที่สร้างขึ้นซึ่งดูเหมือนจะละเมิดนโยบายของเรา" บริษัทระบุว่าจะ "เพิ่มการป้องกันที่แข็งแกร่งยิ่งขึ้น" ก่อนที่จะพิจารณาปล่อยเครื่องมืออีกครั้ง ในแถลงการณ์บน X Google เขียนว่า: "เราให้ความสำคัญกับข้อมูลที่ผิดเป็นอย่างมาก — ทุกภาพที่สร้างด้วย Nano Banana ใน Google Earth มีลายน้ำดิจิทัล SynthID" แต่ความเสียหายก็เกิดขึ้นภายในเวลาไม่กี่ชั่วโมง
เหตุการณ์นี้ชี้ให้เห็นถึงความท้าทายที่เพิ่มขึ้นสำหรับบริษัทเทคโนโลยีที่กำลังเร่งผสานรวม AI เชิงสร้างสรรค์เข้ากับผลิตภัณฑ์ที่ผู้ใช้ไว้วางใจให้ข้อมูลที่ถูกต้อง ภาพถ่ายดาวเทียมเป็นแหล่งข้อมูลที่เชื่อถือได้สำหรับนักข่าว นักสืบสิทธิมนุษยชน และนักวิจัยโอเพนซอร์ส การทำให้การสร้างภาพปลอมที่ดูสมจริงเป็นเรื่องง่าย ซึ่งสืบทอดความน่าเชื่อถือของแบรนด์ Google Earth ฟีเจอร์ Nano Banana 2 ได้เปลี่ยนเครื่องมือแผนที่ที่เชื่อถือได้ให้กลายเป็นเครื่องจักรที่อาจก่อให้เกิดข้อมูลบิดเบือน
Google ยังไม่ได้ประกาศกำหนดการปล่อยฟีเจอร์อีกครั้ง