أظهر الباحثون والصحفيون بسرعة الخطر من خلال توليد مشاهد أقمار صناعية مزيفة مقنعة، بما في ذلك:
وشملت الصور المزيفة الأخرى مبنى الكابيتول الأمريكي مغمورًا بالمياه، وحفرة انفجار في لوس أنجلوس، ومشهد احتجاج .
Henk van Ess، باحث هولندي في استخبارات المصادر المفتوحة، قال لصحيفة The Guardian إن الأداة "لم ترفض شيئًا" — فقد أنشأت لاجئين على الحدود المكسيكية، ومحطة نووية في إيران، ومشهد مستشفى في غزة دون أي تصفية للمحتوى . وحذر من أن الميزة قوضت بشكل أساسي مصداقية صور الأقمار الصناعية، والتي كانت لسنوات أداة حاسمة للمحققين ومدققي الحقائق في مجال المصادر المفتوحة .
Jake Godin من Bellingcat قال لـ NPR إن الأداة يمكن أن "تدمر بشكل أساسي مصداقية صور الأقمار الصناعية كدليل." وأشار إلى أن صور الأقمار الصناعية كانت تاريخيًا من بين أكثر أدلة المصادر المفتوحة موثوقية، وهذه الأداة جعلت من السهل جدًا إنشاء صور مزيفة مقنعة تتطلب جهدًا كبيرًا لدحضها .
كانت Google قد أدرجت علامات مائية رقمية SynthID — سواء كانت تسميات مرئية أو بيانات وصفية غير مرئية — في كل صورة من Nano Banana 2. أخبرت الشركة المستخدمين في البداية بفحص الصور المشبوهة باستخدام Gemini أو Google Lens . لكن الباحثين وجدوا العديد من الإخفاقات الحرجة:
وصفت TechTimes هذا الإطلاق بأنه "أسرع تراجع كبير لمنتج ذكاء اصطناعي مدفوع بفشل محدد في السلامة" — الحاجز الآمن الذي ذكرته Google كحماية أساسية لها لم يمنع ببساطة تداول الصور المزيفة .
قالت Google إنها سحبت الميزة بعد رؤية "أشخاص يشاركون لقطات شاشة لصور مولدة يبدو أنها تنتهك سياساتنا" . وأعلنت الشركة أنها ستُضيف "حواجز أمان أقوى" قبل التفكير في إعادة إصدار الأداة . في بيان على X، كتبت Google: "نحن نأخذ المعلومات المضللة على محمل الجد — كل صورة تم إنشاؤها باستخدام Nano Banana في Google Earth تتضمن العلامة المائية الرقمية SynthID" . لكن الضرر حدث في غضون ساعات.
يسلط هذا الحادث الضوء على تحدٍ متزايد لشركات التكنولوجيا التي تتسابق لدمج الذكاء الاصطناعي التوليدي في المنتجات التي يثق بها المستخدمون للحصول على معلومات واقعية. لطالما اعتبرت صور الأقمار الصناعية مصدرًا موثوقًا للأدلة للصحفيين والمحققين في مجال حقوق الإنسان وباحثي المصادر المفتوحة. من خلال تسهيل إنشاء صور مزيفة مقنعة ترث مصداقية علامة Google Earth التجارية، حوّلت ميزة Nano Banana 2 أداة رسم خرائط موثوقة لفترة وجيزة إلى محرك محتمل للمعلومات المضللة.
لم تعلن Google عن جدول زمني لإعادة إصدار الميزة.