Výzkumníci a novináři rychle ukázali nebezpečí tím, že vytvořili přesvědčivé falešné scény, například:
Další falzifikáty zahrnovaly zatopený Kapitol USA, kráter po výbuchu v Los Angeles nebo davové protesty .
Henk van Ess, nizozemský výzkumník v oblasti OSINT, řekl deníku The Guardian, že nástroj „nic neodmítal“ – vytvořil uprchlíky na mexické hranici, jadernou elektrárnu v Íránu i scénu z nemocnice v Gaze bez jakéhokoli filtrování . Varoval, že tato funkce zásadně podkopala důvěryhodnost satelitních snímků, které jsou už roky klíčovým nástrojem pro investigativce a ověřovatele faktů .
Jake Godin z organizace Bellingcat řekl NPR, že nástroj by mohl „zásadně zničit důvěryhodnost satelitních snímků jako důkazu.“ Uvedl, že satelitní snímky byly historicky jedním z nejdůvěryhodnějších typů OSINT důkazů – a tento nástroj umožnil vytvářet přesvědčivé falzifikáty, jejichž vyvrácení by vyžadovalo značné úsilí .
Google do každého obrázku z Nano Banana 2 vložil digitální vodoznaky SynthID – jak viditelné popisky, tak neviditelná metadata. Společnost zpočátku doporučovala uživatelům ověřovat podezřelé snímky pomocí Gemini nebo Google Lens . Výzkumníci však odhalili několik zásadních nedostatků:
Server TechTimes popsal toto stažení jako „nejrychlejší výrazné zrušení AI produktu vyvolané konkrétním bezpečnostním selháním“ – záruka, kterou Google označil za svou primární ochranu, jednoduše nezabránila šíření falzifikátů .
Google uvedl, že funkci stáhl poté, co zaznamenal „lidi sdílející snímky obrazovky vygenerovaných obrázků, které zřejmě porušují naše zásady“ . Společnost prohlásila, že před případným znovuzpřístupněním nástroje přidá „silnější ochranná opatření“ . V prohlášení na síti X Google napsal: „Dezinformace bereme vážně – každý obrázek vytvořený pomocí Nano Banana v Google Earth obsahuje digitální vodoznak SynthID“ . Škoda však byla napáchána během několika hodin.
Tento incident poukazuje na rostoucí výzvu pro technologické společnosti, které závodí v integraci generativní AI do produktů, jež uživatelé považují za důvěryhodné zdroje faktických informací. Satelitní snímky byly dlouho považovány za spolehlivý důkaz pro novináře, vyšetřovatele lidských práv a výzkumníky otevřených zdrojů. Tím, že bylo snadné vytvářet přesvědčivé falzifikáty, které zdědily důvěryhodnost značky Google Earth, se tento nástroj na krátkou dobu proměnil z důvěryhodné mapovací služby v potenciální motor dezinformací.
Google zatím neoznámil, kdy by mohl funkci znovu zpřístupnit.