Forskare och journalister visade snabbt faran genom att skapa övertygande falska satellitbilder, inklusive:
Andra förfalskningar inkluderade en översvämmad Kapitoliumbyggnad i USA, en bombkrater i Los Angeles och en protestsituation .
Henk van Ess, en nederländsk forskare inom öppen källkundsunderrättelse, sade till The Guardian att verktyget "inte vägrade något" – det genererade flyktingar vid den mexikanska gränsen, ett kärnkraftverk i Iran och en sjukhussituation i Gaza utan något innehållsfilter . Han varnade för att funktionen i grunden undergrävde trovärdigheten hos satellitbilder, som i åratal har varit ett avgörande verktyg för utredare och faktagranskare .
Jake Godin från Bellingcat sade till NPR att verktyget "i grunden kunde förstöra trovärdigheten hos satellitbilder som bevis." Han noterade att satellitbilder historiskt sett har varit bland de mest betrodda bevisen inom OSINT, och att detta verktyg gjorde det trivialt enkelt att skapa övertygande förfalskningar som skulle kräva betydande ansträngning att avslöja .
Google hade bäddat in SynthID-digitala vattenmärken – både synliga etiketter och osynlig metadata – i varje Nano Banana 2-bild. Företaget bad initialt användare att kontrollera misstänkta bilder med Gemini eller Google Lens . Men forskare fann flera kritiska brister:
TechTimes beskrev lanseringen som "den snabbaste betydande AI-produktåterkallelsen driven av ett specifikt säkerhetsmisslyckande" – den spärr Google angav som sitt primära skydd stoppade helt enkelt inte förfalskningarna från att spridas .
Google sade att de tog bort funktionen efter att ha sett "personer som delar skärmdumpar av genererade bilder som verkar bryta mot våra policyer" . Företaget uppgav att de skulle "lägga till starkare skyddsräcken" innan de överväger att återlansera verktyget . I ett uttalande på X skrev Google: "Vi tar desinformation på allvar – varje bild skapad med Nano Banana i Google Earth innehåller SynthID digitalt vattenmärke" . Men skadan var redan skedd inom några timmar.
Händelsen belyser en växande utmaning för teknikföretag som kapplöper om att integrera generativ AI i produkter som användare litar på för faktisk information. Satellitbilder har länge ansetts vara en tillförlitlig beviskälla för journalister, människorättsutredare och forskare inom öppen källa. Genom att göra det enkelt att skapa övertygande förfalskningar som ärver trovärdigheten från Google Earths varumärke, förvandlade Nano Banana 2-funktionen tillfälligt ett betrott kartverktyg till en potentiell motor för desinformation.
Google har inte meddelat någon tidsplan för att återlansera funktionen.