研究者やジャーナリストたちは、このツールの危険性を瞬時に実証した。彼らが生成した説得力のある偽の衛星画像には、以下のようなものがある。
その他にも、浸水したアメリカ合衆国議会議事堂、ロサンゼルスの爆発跡、抗議デモの様子などが偽画像として作成された 。
オランダのオープンソースインテリジェンス研究者であるヘンク・ファン・エス氏は、英紙『The Guardian』に対し、このツールは「何も拒否しなかった」と述べ、メキシコ国境の難民、イランの原発、ガザの病院のシーンなどが一切のコンテンツフィルタリングなしに生成されたと証言した 。同氏は、この機能が長年にわたりオープンソース調査やファクトチェッカーにとって重要なツールであった衛星画像の信頼性を根本から損なうものだと警告した 。
ベリングキャットのジェイク・ゴディン氏はNPRに対し、このツールは「衛星画像の証拠としての信頼性を根本的に破壊する可能性がある」と述べた。同氏は、衛星画像はこれまでOSINT(オープンソースインテリジェンス)の証拠として最も信頼されてきたものの一つであり、このツールはそれを覆すのに大掛かりな努力を要する、説得力のある偽画像を極めて簡単に作成できるようにしてしまったと指摘した 。
Googleは、Nano Banana 2で生成されたすべての画像に、可視ラベルと不可視のメタデータの両方を含むSynthIDデジタル透かしを埋め込んでいた。同社は当初、不審な画像がある場合、GeminiやGoogle Lensを使って確認するようユーザーに案内していた 。しかし、研究者らは以下のようないくつかの重大な欠陥を発見した。
TechTimesは、この機能の展開を「特定の安全上の欠陥によって引き起こされた、最も急速なAI製品の方向転換」と評した。Googleが主要な防御策として挙げたガードレールは、偽画像の拡散を食い止めるには全く不十分だったのである 。
Googleは、「ポリシーに違反していると思われる生成画像のスクリーンショットが共有されているのを確認した」として、機能を削除したと発表した 。同社は、ツールの再リリースを検討する前に「より強力なガードレールを追加する」と述べた 。X(旧Twitter)への声明の中で、Googleは次のように述べている。「当社は誤情報を深刻に受け止めています。Google EarthでNano Bananaを使用して作成されたすべての画像にはSynthIDデジタル透かしが含まれています」 。しかし、そのときにはすでに被害は発生していた。
今回の出来事は、事実情報としてユーザーに信頼されている製品に生成AIを統合しようと競うテクノロジー企業にとって、大きな課題があることを浮き彫りにした。衛星画像は、ジャーナリスト、人権活動家、オープンソース研究者にとって、長年にわたり信頼できる情報源とみなされてきた。Google Earthというブランドの信頼性をそのまま受け継ぐ説得力のある偽画像を簡単に作成できるようにしたことで、Nano Banana 2機能は、信頼されていたマッピングツールを一瞬にして誤情報の拡散エンジンに変えてしまったのである。
Googleは、この機能の再リリースの時期については発表していない。