연구원들과 언론인들은 이 도구의 위험성을 즉시 입증했습니다. 그들이 생성한 가짜 위성 장면들은 다음과 같습니다:
이 외에도 침수된 미국 국회의사당, 로스앤젤레스의 폭발 크레이터, 시위 현장 등이 제작되었습니다 .
네덜란드 오픈소스 정보 연구원 헨크 반 에스는 가디언지와의 인터뷰에서 이 도구가 "어떤 요청도 거부하지 않았다(refused nothing)"며, 멕시코 국경 난민, 이란 핵 시설, 가자 병원 장면 등을 아무런 콘텐츠 필터링 없이 생성했다고 밝혔습니다 . 그는 이 기능이 수년간 오픈소스 조사관과 팩트체커에게 핵심 도구였던 위성 이미지의 신뢰성을 근본적으로 훼손한다고 경고했습니다 .
벨링캣(Bellingcat)의 제이크 고딘(Jake Godin) 은 NPR과의 인터뷰에서 이 도구가 "위성 이미지의 증거 신뢰성을 근본적으로 파괴할 수 있다"고 말했습니다. 그는 위성 이미지가 역사적으로 가장 신뢰받는 OSINT 증거 중 하나였지만, 이제는 설득력 있는 가짜를 만드는 것이 지나치게 쉬워졌으며 이를 반박하는 데는 상당한 노력이 필요할 것이라고 지적했습니다 .
구글은 모든 나노 바나나 2 이미지에 가시적 라벨과 비가시적 메타데이터를 포함한 신스ID(SynthID) 디지털 워터마크를 적용했습니다. 구글은 처음에 사용자에게 의심스러운 이미지가 있으면 제미니(Gemini)나 구글 렌즈(Lens)를 통해 확인하라고 안내했습니다 . 그러나 연구원들은 몇 가지 치명적인 문제점을 발견했습니다:
*테크타임즈(TechTimes)*는 이번 사태를 "특정 안전 실패로 인한 가장 빠른 주요 AI 제품 방향 전환"이라고 평가했습니다. 구글이 주요 보호 장치로 내세운 워터마크가 가짜 이미지 유포를 막지 못했다는 의미입니다 .
구글은 사용자들이 "정책을 위반하는 것으로 보이는 생성 이미지 스크린샷을 공유하는 것"을 확인하고 기능을 중단했다고 밝혔습니다 . 회사는 더 강력한 안전장치를 마련한 후 재출시를 고려하겠다고 말했습니다 . 구글은 X(트위터)에 게시한 성명에서 "우리는 오정보 문제를 심각하게 받아들입니다. 구글 어스의 나노 바나나로 생성된 모든 이미지에는 신스ID 디지털 워터마크가 포함됩니다"라고 밝혔지만 , 이미 피해는 발생한 후였습니다.
이번 사건은 사실 정보 제공을 위해 사용자들이 신뢰하는 제품에 생성형 AI를 통합하기 위해 경쟁하는 기술 기업들이 직면한 커져가는 도전 과제를 극명하게 보여줍니다. 위성 이미지는 오랫동안 언론인, 인권 조사관, 오픈소스 연구자들에게 신뢰할 수 있는 증거 자료로 여겨져 왔습니다. 구글 어스라는 브랜드의 신뢰성을 물려받은 설득력 있는 가짜 이미지를 쉽게 만들 수 있게 되면서, 이 나노 바나나 2 기능은 순식간에 신뢰받는 지도 도구를 오정보 확산의 잠재적 엔진으로 전환시켰습니다.
구글은 아직 이 기능의 재출시 일정을 발표하지 않았습니다.