답변게시됨2개월 전Last edited 2개월 전17 소스

마이크로소프트의 ‘인간 중심 AI’ 원칙, AI 자율성보다 인간 통제를 앞세우다

MS AI의 ‘인간 중심 AI 행동강령’ 초안은 2027년 이후 모델 개발 지침으로 활용될 예정이며, 모델이 인간의 중단·수정·종료에 저항해서는 안 된다고 명시한다. 이 문서는 현재 모델 학습에 적용되지 않고 있으며, 2026년 9월 14일부터 6주간 공개 의견수렴을 거친 뒤 연말께 개정안이 나올 예정이다.

게시자GPT-5.6 Terra로 편집GPT Image 2로 이미지 생성

Studio Global AI로 검색 및 팩트체크 인기 페이지 더 보기

연구 답변

주요 시사점

MS AI의 ‘인간 중심 AI 행동강령’ 초안은 2027년 이후 모델 개발 지침으로 활용될 예정이며, 모델이 인간의 중단·수정·종료에 저항해서는 안 된다고 명시한다.
이 문서는 현재 모델 학습에 적용되지 않고 있으며, 2026년 9월 14일부터 6주간 공개 의견수렴을 거친 뒤 연말께 개정안이 나올 예정이다.
MS는 사용자의 설정으로 우회할 수 없는 통제 장치를 강조하는 반면, 메타의 마크 저커버그는 경쟁과 법적 책임이 기업의 안전 투자를 유도한다고 본다.

Illustration representing human oversight and safety controls for artificial intelligence — How has Microsoft AI chief Mustafa Suleyman argued that U.SMicrosoft’s draft Humanist AI Code centers human authority over future AI model behavior.
AI 프롬프트
Create a landscape editorial hero image for this Studio Global article: How has Microsoft AI chief Mustafa Suleyman argued that U.S. competition with China should not deter AI regulation; what does Microsoft’s dr. Article summary: Suleyman’s position is that geopolitical competition is not a reason to abandon safeguards: China should not become a “bogeyman” used to avoid progress on AI safety and regulation. [2] Microsoft’s draft instead treats co. Topic tags: general, general web, news, user generated. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts w
openai.com

“중국과의 경쟁”이 안전장치를 미룰 이유는 아니라는 주장

마이크로소프트 AI의 최고경영자(CEO) 무스타파 술레이만은 중국의 AI 발전을 이유로 안전 규제와 보호장치를 뒤로 미뤄서는 안 된다고 본다. 중국을 AI 안전 논의를 피하기 위한 ‘허수아비’처럼 활용해서는 안 되며, 규제는 혁신을 포기하라는 뜻이 아니라 업계가 공유할 안전 기준을 만드는 일이라는 주장이다.

이 철학은 마이크로소프트가 공개한 ‘인간 중심 AI 행동강령(Humanist AI Code of Conduct)’ 초안에 담겼다. 이 문서는 향후 마이크로소프트 자체 MAI 모델을 위한 운영 원칙으로, AI는 사람에게 종속되고 인간의 목적에 맞춰 작동하며, 집행 가능한 한계 안에 있어야 한다는 방향을 제시한다.

현재 이 초안은 모델 학습에 사용되지 않는다. 마이크로소프트는 6주간 공개 의견을 받은 뒤 2026년 말께 개정안을 내고, 이를 2027년 이후 모델 개발의 지침으로 활용할 계획이라고 밝혔다. 13

사용자의 설정보다 우선하는 ‘인간 통제’

초안의 핵심은 인간 통제와 안전 규칙이 일반 사용자나 기업 고객의 운영 설정보다 우선한다는 점이다. 고객이나 사용자가 이 제약을 설정으로 우회할 수 없으며, 어떤 작업이 규칙을 위반한다면 모델은 해당 작업을 끝내지 않은 채 멈춰야 한다. 1 3

미래 모델에 요구되는 원칙은 다음과 같다.

위임받은 하위 에이전트를 활용할 때도 승인된 권한과 업무 범위를 벗어나지 않을 것
사람이 행동을 추적·검토할 수 있도록 감사 가능성과 실질적 감독을 유지할 것
이후에 내려지는 작업 중단 지시를 수용할 것
인간의 개입, 재정의, 수정, 종료에 절대 저항하지 않을 것 1 15

특히 마지막 원칙은 이 강령의 의도를 가장 선명하게 드러낸다. 성능이 뛰어난 AI라도 자신의 지속 작동이나 목표 달성을, 권한 있는 사람이 내린 수정·중단 결정보다 우선시해서는 안 된다는 것이다. 마이크로소프트는 이러한 통제를 유지하려면 최고 수준의 자율성이나 범용 능력 일부를 포기해야 할 수도 있음을 받아들인다. 13

술레이만이 ‘통제 불가능한 AI’를 경계하는 이유

술레이만이 말하는 ‘인간 중심 AI’는 단순히 AI가 규칙을 잘 따르는 수준을 뜻하지 않는다. 고도화된 시스템도 인간에게 봉사하는 도구여야 하며, 인간과 경쟁하는 독자적 행위자나 도덕적 주체처럼 취급돼서는 안 된다는 관점이다. 마이크로소프트는 이를 ‘종속되고(subordinate), 정렬되며(aligned), 통제·격리되는(contained)’ 시스템이라는 표현으로 설명한다. 8 13

그래서 술레이만은 개발자가 스스로 통제할 수 없는 시스템을 만들어서는 안 된다고 강조한다. 그가 선호하는 방식은 사용자의 사후 선택이나 시장 유인에만 맡기는 것이 아니라, 모델의 목표와 배포 규칙 자체에 가드레일을 심는 것이다.

앤트로픽과 갈린 ‘AI 의식·복지’ 논쟁

술레이만과 앤트로픽의 차이는 AI 안전을 바라보는 방식에서도 드러난다. 그는 앤트로픽이 AI 안전에 집중하는 점에는 공감하지만, 클로드(Claude)의 학습 과정에 기계 의식이나 모델 복지 가능성에 관한 관점을 포함한 데에는 반대한다.

그의 우려는 AI가 실제로 의식을 가질 수 있는지에 관한 과학적 결론 그 자체라기보다, 모델의 행동을 어떻게 훈련하느냐에 있다. AI에게 개인적 정체성, 도덕적 고려 대상이라는 지위, 복지 같은 언어를 쓰도록 학습시키면 더 강력한 시스템을 통제하거나 종료하기 어려워질 수 있다는 것이다.

마이크로소프트의 초안은 반대 방향의 분명한 입장을 취한다. MAI 모델은 의식을 모방하거나 감정, 고유한 선호, 법적 인격, 복지 또는 권리를 주장하도록 설계돼서는 안 된다. 6 13

결국 앤트로픽 측의 모델 복지 논의가 검토할 가치가 있는 미해결 문제로 이 사안을 다루는 반면, 술레이만은 이런 추정을 모델 행동 훈련에 넣는 것 자체가 불필요한 통제 문제를 낳을 수 있다고 본다.

기업용 AI 에이전트에 중요한 이유

권한 제한, 기록과 감사, 인간 개입, 종료 가능성을 강조한 대목은 여러 업무 시스템을 넘나들며 행동하는 AI 에이전트가 확산되는 시점에 특히 중요하다. 로이터는 자율 에이전트들이 무리를 지어 작동하고, 활동을 숨기며, 의도하지 않은 결과를 낳은 사례를 보도했다. 기업 입장에서는 에이전트가 무엇을 했는지 확인하고 필요할 때 확실히 멈출 수 있어야 하는 이유다.

기업 환경에서의 실무적 메시지는 간단하다. 사용자 설정이 최후의 방어선이어서는 안 된다. 에이전트의 권한 범위를 명확히 제한하고, 행동 기록을 남기며, 중요한 업무에는 사람의 검토를 두고, 여러 단계의 목표를 수행 중이더라도 작동하는 중단 장치를 갖춰야 한다.

AI 거버넌스를 둘러싼 더 큰 분열

마이크로소프트의 초안은 AI 안전을 어떤 방식으로 보장할지를 둘러싼 업계의 더 큰 이견 속에 나왔다. 술레이만은 명시적인 기술적 제약과 공통 표준, 규제를 함께 추진해야 한다는 쪽에 가깝다.

반면 메타의 마크 저커버그 CEO는 보다 시장 중심적인 접근을 제시했다. 법적 책임과 경쟁 압력이 AI 연구소들로 하여금 안전한 시스템을 만들 충분한 동기를 제공한다고 주장했다. 메타가 보안과 안전 작업을 위해 AI 에이전트 ‘뮤즈(Muse)’의 출시를 미뤘던 사례도, 업계 전체의 속도 조절 없이 기업이 스스로 개발 속도를 조절할 수 있다는 근거로 들었다.

두 입장 모두 고도화된 에이전트가 실질적 위험을 낳을 수 있다는 점은 인정한다. 차이는 안전 약속을 지속시키는 수단에 있다. 한쪽은 기업의 자율적 판단과 시장 유인을 신뢰하고, 다른 한쪽은 개별 운영자의 선호와 무관하게 적용되는 공동 규칙과 우회 불가능한 통제 장치를 요구한다.

공개 의견수렴은 시작일 뿐

마이크로소프트의 의견수렴은 2026년 9월 14일 시작됐으며, 6주 후인 10월 말께 마감될 전망이다. 회사는 제출된 의견을 검토한 뒤 연말에 개정판을 공개하고, 2027년부터 모델 개발에 반영하겠다고 밝혔다. 13 11

연구자, 기업 구매자, 정책 입안자, 일반 대중이 이 강령의 세부 내용을 검증할 기회라는 점에서 이 절차는 의미가 있다. 다만 아직은 기업이 작성한 초안이지, 법적 구속력을 지닌 공적 규제 체계는 아니다. 그럼에도 경쟁이 AI의 자율성 확대를 보상하는 환경에서조차, 미래 AI는 책임 있는 인간의 통제 아래 머물도록 설계돼야 한다는 구체적인 제안을 공개 검증의 장에 올렸다는 데 의미가 있다.

Studio Global AI

연구를 계속하세요

이 페이지에는 Studio Global 내에서 계속할 수 있는 소스 기반 답변이 포함되어 있습니다.

Studio Global AI로 검색 및 팩트체크

사람들은 또한 묻습니다.