Forscher und Journalisten demonstrierten die Gefahr umgehend, indem sie überzeugende gefälschte Satellitenszenen erstellten, darunter:
Weitere Fälschungen zeigten ein überflutetes US-Kapitol, einen Explosionskrater in Los Angeles und eine Protestkundgebung .
Henk van Ess, ein niederländischer Open-Source-Intelligence-Forscher, sagte dem Guardian, das Tool habe „nichts verweigert“ – es habe ohne jede Inhaltskontrolle Flüchtlinge an der mexikanischen Grenze, ein Atomkraftwerk im Iran und eine Gazakrankenhaus-Szene generiert . Er warnte, dass die Funktion die Vertrauenswürdigkeit von Satellitenbildern grundlegend untergrabe, die seit Jahren ein entscheidendes Werkzeug für Open-Source-Ermittler und Faktenprüfer seien .
Jake Godin von Bellingcat erklärte gegenüber NPR, das Tool könne „die Glaubwürdigkeit von Satellitenbildern als Beweismittel fundamental zerstören“. Er betonte, dass Satellitenaufnahmen historisch zu den vertrauenswürdigsten OSINT-Beweisen gehört hätten und dieses Tool es kinderleicht mache, überzeugende Fälschungen zu erstellen, deren Widerlegung enormen Aufwand erfordere .
Google hatte SynthID-digitale Wasserzeichen – sowohl sichtbare Labels als auch unsichtbare Metadaten – in jedes mit Nano Banana 2 erstellte Bild eingebettet. Das Unternehmen forderte Nutzer zunächst auf, verdächtige Bilder mit Gemini oder Google Lens zu überprüfen . Doch die Forscher stellten mehrere kritische Schwachstellen fest:
Die TechTimes bezeichnete den Rückzug als „die schnellste signifikante KI-Produktrücknahme, die durch ein konkretes Sicherheitsversagen ausgelöst wurde“ – die von Google als primärer Schutz angepriesene Hürde konnte die Verbreitung der Fälschungen nicht stoppen .
Google erklärte, die Funktion zurückgezogen zu haben, nachdem man „Screenshots von generierten Bildern gesehen habe, die gegen unsere Richtlinien zu verstoßen scheinen“ . Das Unternehmen kündigte an, „stärkere Schutzmaßnahmen“ zu implementieren, bevor das Tool wieder veröffentlicht werde . In einer Stellungnahme auf X schrieb Google: „Wir nehmen Fehlinformationen ernst – jedes mit Nano Banana in Google Earth erstellte Bild enthält das SynthID-Wasserzeichen“ . Doch der Schaden war bereits innerhalb von Stunden eingetreten.
Der Vorfall verdeutlicht die wachsende Herausforderung für Technologieunternehmen, die generative KI in Produkte integrieren, denen Nutzer für sachliche Informationen vertrauen. Satellitenbilder galten lange als zuverlässige Beweisquelle für Journalisten, Menschenrechtsermittler und Open-Source-Forscher. Indem Google es ermöglichte, überzeugende Fälschungen zu erstellen, die die Glaubwürdigkeit der Marke Google Earth erbten, wurde das vertraute Kartentool kurzzeitig zu einer möglichen Desinformationsmaschine.
Google hat noch keinen Zeitplan für eine Wiederveröffentlichung der Funktion bekannt gegeben.