국제앰네스티 "주요 AI 시스템, 설계부터 불법"… 빅테크에 정면 반기 들다

챗GPT, 제미나이, 라마 등 우리 일상 깊숙이 파고든 생성형 AI의 이면에는 과연 무엇이 있을까. 2026년 5월 28일, 국제앰네스티는 『설계부터 불법: 생성형 AI의 인권 비용 폭로(Unlawful by Design: Exposing the Human Rights Costs of Generative AI)』 라는 제목의 강력한 보고서를 공개하며, 이 기술의 근간을 뒤흔드는 폭로를 쏟아냈다. 보고서는 구글, 메타, 오픈AI 등 주요 기술 기업들의 생성형 AI 모델이 "설계 자체에 내재된 대규모 사생활 침해" 에 뿌리박고 있다고 정면으로 비판한다 .

앰네스티의 핵심 논리는 이것이 단순한 부작용이 아니라 시스템의 본질이라는 점이다. 구글의 제미나이, 메타의 라마, 오픈AI의 GPT-3와 같은 모델은 처음부터 끝까지, 전 세계 웹에서 개인 데이터를 무단으로 긁어모으는 '웹 스크래핑'이라는 불법적인 방식으로 창조된다. 이에 국제앰네스티는 이러한 시스템이 "국제인권법(IHRL)과 근본적으로 양립할 수 없다" 고 결론지으며, 더 똑똑한 규제가 아닌 전면 금지만이 유일한 해법이라고 주장한다 .

보고서는 단순한 사생활 침해 차원을 넘어, 이 극단적인 금지 요구를 뒷받침하는 구체적이고 입체적인 세 가지 피해 범주를 제시한다.

'설계부터 불법'이라는 주장의 속뜻

앰네스티가 주장하는 불법성의 핵심은 생성형 AI를 먹여 살리는 데이터 공급망 자체가 일종의 대규모 감시 체계라는 데 있다. 보고서는 기술 기업들이 자동화된 도구를 이용해 "이미지, 소셜 미디어 활동, 기타 개인 정보가 포함된 방대한 온라인 데이터를 개인의 명시적 동의 없이 추출"한다고 구체적으로 적시한다 . 문제는 이것이 해킹이나 우발적 유출이 아니라, 시스템을 구축하는 바로 그 첫 단계에 의도적으로 설계된 구조적 방식이라는 점이다. 때문에 앰네스티는 이 기술 자체에 '설계부터 불법(unlawful by design)'이라는 딱지를 붙였다 .

나아가 앰네스티는 이러한 자동화된 데이터 수집 행위를 국가 기관의 대규모 감시 시스템과 기술적으로 동일선상에 놓으며, 개발의 첫 단추부터 사생활에 대한 권리를 유린한다고 비판한다 . 이 보고서는 오픈AI의 GPT-3, 구글의 제미나이, 메타의 라마는 물론, 딥시크, 미드저니, 스테이블 디퓨전 등 시장에 널리 퍼진 주요 모델과 도구들까지 실명으로 거론하며 공개적으로 문제를 제기했다 .

생성형 AI가 초래하는 세 가지 인권 침해

앰네스티가 단순히 리스크를 관리하는 수준의 규제로는 어림없다고 주장하는 이유는, 이 기술이 다음과 같은 세 가지 상호 연결된 피해를 구조적으로 만들어내기 때문이다.

1. 설계에 내재된 대규모 사생활 침해

첫 번째이자 가장 근본적인 피해는 사생활 침해 그 자체다. 보고서는 온라인에 공개된 수십억 건의 게시물, 사진, 대화를 허가 없이 수집해 데이터 세트를 구축하는 현실을 낱낱이 기록했다. 이는 보안 사고가 아니라 AI를 만들기 위한 의도적이고 구조적인 방법론이다. 앰네스티는 이러한 "사생활 권리 남용"이 모든 문제의 출발점이기에, 개발 파이프라인 전체가 인권 기준에 비추어 불법이 된다고 주장한다 .

2. 고정관념, 편견, 그리고 차별의 영속화

두 번째 피해 범주는 수집된 데이터로부터 바로 이어진다. AI가 학습하는 재료는 가리지 않고 공개 웹에서 긁어모은 것이기에, 현실 세계의 온갖 차별과 혐오로 이미 "오염되어" 있다. 앰네스티는 이 데이터 속 편견이 AI를 통해 중화되기는커녕, "인종, 젠더, 문화적 경계선을 따라 모델 출력 결과에서 더욱 증폭된다"고 경고한다 . 특히 보고서는 유독한 고정관념과 편향된 연관성이 자동화되고 대규모로 확산됨에 따라, 역사적으로 소외된 공동체가 이 체계적 차별의 직격탄을 맞게 될 것이라는 데 깊은 우려를 표한다 .

3. 심각한 환경 파괴

마지막 피해 범주는 디지털 영역을 넘어 물리적인 세계로 초점을 옮긴다. 보고서는 이러한 시스템을 구축하고 가동하는 데 들어가는 막대한 생태적 비용을 지적하며, "어마어마한 규모의 데이터센터와 에너지 소비" 문제를 조명한다 . 앰네스티는 이 환경적 충격이야말로, 겉잡을 수 없는 AI 경쟁이 낳은 또 하나의 중대한 인권 침해 결과이지만 흔히 간과되고 있다고 꼬집는다.

더 나은 규제가 아닌, 전면 금지를 요구하다

국제앰네스티의 최종 결론은 단호하다. 불법적인 웹 스크래핑 파이프라인에 전적으로 의존하는 독립형 생성형 AI 시스템은 "국제인권법과 양립할 수 없다" 는 것이다 . 이 단체는 EU의 AI법에서 채택한 것과 같은 위험 기반 규제 프레임워크로는 역부족이라고 일축하며, 각국 정부가 나서서 이러한 방식으로 구축된 시스템 자체를 '전면 금지' 해야 한다고 촉구한다. 이는 관리 가능한 위험이 아닌 인권 위기 그 자체로 규정하고, 기술의 근본적인 재설계 없이는 어떤 타협도 없다는 강력한 선전포고라 할 수 있다 .