찰스 3세 영국 국왕은 9월 17일 스코틀랜드 에어셔의 덤프리스 하우스에서 주요 AI 기업과 영국 정부 관계자들을 비공개로 만났다. 엔비디아, 구글 딥마인드, 오픈AI, 앤트로픽 관계자와 영국 AI 담당 장관 카니슈카 나라얀이 참석한 자리였다. 회의는 AI가 사회에 기여하면서도 인간의 통제를 벗어나지 않게 할 방안을 논의하는 자리였으며, 구속력 있는 규제 합의가 나왔다는 보도는 없었다.
1
9
12
찰스 3세의 메시지: 문제가 드러나기 전에 안전장치를
찰스 3세는 AI의 가능성과 우려를 함께 언급했다. 그는 AI가 사람·공동체·지구를 위해 쓰여야 한다고 강조하면서, 강력한 기술이 잘못된 손에 들어가 재앙적 방식으로 이용될 수 있는 ‘실존적 위험’을 경고했다. 핵심은 너무 늦기 전에 보호장치를 마련해야 한다는 것이었다.
9
11
13
이는 고성능 AI 모델의 능력이 빠르게 발전할 때, 제도와 안전 관행, 사회적 규범이 이를 따라갈 수 있느냐는 논쟁에 대한 개입이다. 회의는 인간의 존엄성과 사회적 효익을 높이는 동시에 위험을 줄일 방법을 검토하기 위해 마련됐다.
1
9
젠슨 황의 해법: AI 자체보다 ‘AI를 쓴 제품’을 규제하라
엔비디아 최고경영자(CEO) 젠슨 황은 AI 안전의 필요성을 부정하지 않았다. 기업이 시스템을 엄격히 시험해야 하며, 안전하다고 확신하지 못하는 제품은 출시해서는 안 된다고 밝혔다. 그는 이를 법 이전에 개발자가 져야 할 공학적 책임으로 본다.
18
23
30
다만 황 CEO는 규제의 초점이 AI라는 기술 범주 자체가 아니라, AI를 이용해 만들어진 제품과 서비스에 맞춰져야 한다고 주장했다. AI는 소셜미디어처럼 단일 소비자 제품이 아니라 여러 제품의 기반이 되는 기술이라는 논리다. 실제 배포 과정에서 문제가 발생하면 감독하고, 법의 빈틈이 확인될 때 기존 법률에 조항을 보완하면 된다는 것이다. 그는 의료, 운송, 엔터테인먼트 등 이미 규제 체계를 갖춘 분야를 예로 들었다.
26
28
이른바 제품·산업별 규제는 다음과 같은 방식이다.
- 의료기기나 교통 서비스처럼 구체적 사용 사례에서 위험을 평가한다.
- AI 배포가 문제를 일으키면 해당 산업의 기존 규정을 적용하거나 필요한 부분을 보완한다.
- 출시 전에는 통제된 환경에서 충분하고 엄격한 시험을 거친다.
23
28
이 접근은 AI 전반을 포괄하는 새 법률이나 모델 개발의 의무적 일시 중단에는 상대적으로 무게를 덜 둔다.
왜 정상회의의 선제예방 기조와 대비됐나
찰스 3세가 경고한 것은, 해로운 제품이 명확히 특정되기 전에도 나타날 수 있는 심각한 오용과 위험이었다. 따라서 재앙적 결과를 막으려면 안전장치와 국제적 협력이 더 이른 단계에서 갖춰져야 한다는 선제예방적 관점이다.
1
11
앤트로픽 CEO 다리오 아모데이는 별도로, 안전 조치가 발전 속도를 따라잡을 수 있도록 최첨단 모델 개발 속도를 늦춰야 한다고 촉구했다. 반면 황 CEO는 개발 감속을 조율하기 위한 새 법이나 특별한 제도는 필요하지 않으며, 공학적 설계·시험과 기존 법 체계로 대응할 수 있다고 맞섰다.
8
30
쟁점은 결국 어디에, 언제 개입할 것인가다.
| 접근 |
주된 초점 |
선호하는 개입 시점 |
| 황 CEO의 접근 |
AI 기반 제품과 개별 배포 사례 |
출시 전 시험, 위험이 발생하거나 규제 공백이 분명해질 때 산업별 규칙으로 대응 |
| 정상회의에서 드러난 선제예방 접근 |
고도화되는 AI가 낳을 수 있는 시스템 차원의 재앙적 위험 |
위험 또는 기술 역량이 통제 장치를 앞지르기 전에 더 강한 안전장치 마련 |
두 입장 모두 안전과 인간의 감독을 지지한다. 그러나 책임을 배분하는 방식은 다르다. 황 CEO는 개발사의 출시 규율, 공학 표준, 개별 제품을 감독하는 규제기관에 더 큰 비중을 둔다. 반대로 찰스 3세의 발언과 공동 원칙 논의는 특정 산업에서 사고가 난 뒤에만 대응해서는 부족할 수 있으며, 일부 위험에는 사전적이고 공조된 안전장치가 필요하다는 문제의식을 담고 있다.
9
23
28
결론: 목표는 같지만 규제의 설계도는 다르다
덤프리스 하우스 회의가 AI 규제 논쟁을 결론내리지는 않았다. 대신 기존 제품법과 엄격한 시험으로 AI를 주로 관리할 수 있는지, 아니면 최첨단 AI가 산업 경계를 넘는 위험을 만들기 때문에 새롭고 예방적인 공조 체계가 필요한지를 선명하게 보여줬다. AI가 인류에 봉사하고 인간의 통제 아래 있어야 한다는 목표에는 공감대가 있었지만, 그 목표에 이르는 길은 여전히 논쟁적이다.
9
12
28