국제앰네스티 "주요 AI 시스템, 설계부터 불법"… 빅테크에 정면 반기 들다

나아가 앰네스티는 이러한 자동화된 데이터 수집 행위를 국가 기관의 대규모 감시 시스템과 기술적으로 동일선상에 놓으며, 개발의 첫 단추부터 사생활에 대한 권리를 유린한다고 비판한다 . 이 보고서는 오픈AI의 GPT-3, 구글의 제미나이, 메타의 라마는 물론, 딥시크, 미드저니, 스테이블 디퓨전 등 시장에 널리 퍼진 주요 모델과 도구들까지 실명으로 거론하며 공개적으로 문제를 제기했다 .

생성형 AI가 초래하는 세 가지 인권 침해

앰네스티가 단순히 리스크를 관리하는 수준의 규제로는 어림없다고 주장하는 이유는, 이 기술이 다음과 같은 세 가지 상호 연결된 피해를 구조적으로 만들어내기 때문이다.

1. 설계에 내재된 대규모 사생활 침해

첫 번째이자 가장 근본적인 피해는 사생활 침해 그 자체다. 보고서는 온라인에 공개된 수십억 건의 게시물, 사진, 대화를 허가 없이 수집해 데이터 세트를 구축하는 현실을 낱낱이 기록했다. 이는 보안 사고가 아니라 AI를 만들기 위한 의도적이고 구조적인 방법론이다. 앰네스티는 이러한 "사생활 권리 남용"이 모든 문제의 출발점이기에, 개발 파이프라인 전체가 인권 기준에 비추어 불법이 된다고 주장한다 .

2. 고정관념, 편견, 그리고 차별의 영속화

두 번째 피해 범주는 수집된 데이터로부터 바로 이어진다. AI가 학습하는 재료는 가리지 않고 공개 웹에서 긁어모은 것이기에, 현실 세계의 온갖 차별과 혐오로 이미 "오염되어" 있다. 앰네스티는 이 데이터 속 편견이 AI를 통해 중화되기는커녕, "인종, 젠더, 문화적 경계선을 따라 모델 출력 결과에서 더욱 증폭된다"고 경고한다 . 특히 보고서는 유독한 고정관념과 편향된 연관성이 자동화되고 대규모로 확산됨에 따라, 역사적으로 소외된 공동체가 이 체계적 차별의 직격탄을 맞게 될 것이라는 데 깊은 우려를 표한다 .

3. 심각한 환경 파괴

마지막 피해 범주는 디지털 영역을 넘어 물리적인 세계로 초점을 옮긴다. 보고서는 이러한 시스템을 구축하고 가동하는 데 들어가는 막대한 생태적 비용을 지적하며, "어마어마한 규모의 데이터센터와 에너지 소비" 문제를 조명한다 . 앰네스티는 이 환경적 충격이야말로, 겉잡을 수 없는 AI 경쟁이 낳은 또 하나의 중대한 인권 침해 결과이지만 흔히 간과되고 있다고 꼬집는다.

더 나은 규제가 아닌, 전면 금지를 요구하다

국제앰네스티의 최종 결론은 단호하다. 불법적인 웹 스크래핑 파이프라인에 전적으로 의존하는 독립형 생성형 AI 시스템은 "국제인권법과 양립할 수 없다" 는 것이다 . 이 단체는 EU의 AI법에서 채택한 것과 같은 위험 기반 규제 프레임워크로는 역부족이라고 일축하며, 각국 정부가 나서서 이러한 방식으로 구축된 시스템 자체를 '전면 금지' 해야 한다고 촉구한다. 이는 관리 가능한 위험이 아닌 인권 위기 그 자체로 규정하고, 기술의 근본적인 재설계 없이는 어떤 타협도 없다는 강력한 선전포고라 할 수 있다 .