나델라의 조건부 슈퍼인텔리전스론: 인간 통제가 우선

사티아 나델라 마이크로소프트 회장 겸 CEO의 메시지는 ‘고도 AI를 포기하자’는 주장이 아니다. 인류에 도움이 되고 인간의 통제 아래 있을 때에만 슈퍼인텔리전스를 추구할 가치가 있다는 조건부 접근이다. 그에게 안전은 선언에 그쳐서는 안 되며, 개발과 배포 과정에서 집행 가능한 장치로 구체화돼야 한다. 58

마이크로소프트의 답: ‘휴머니스트 AI’

마이크로소프트 AI는 2026년 9월 14일, 자체 개발하는 MAI 모델을 위한 ‘휴머니스트 AI 행동강령(Humanist AI Code of Conduct)’ 초안을 공개하고 의견수렴을 시작했다. 회사는 이 문서를 AI를 어떻게 개발하고 배포 중 어떻게 작동하게 할지를 정리한 훈련 매뉴얼로 설명한다. 다만 현행 모델 훈련에 이미 적용 중인 정책이 아니라, 아직 개발 중인 초안이라는 점도 분명히 했다. 2023

초안의 위계는 명확하다. 인간이 최종 권한을 유지해야 하며, MAI 모델은 인간에게 종속돼야 한다. 모델은 스스로 목표를 정해서는 안 되고, 인간의 입력이나 종료를 거부해서도 안 된다. 마이크로소프트는 안전성과 통제를 지키기 위해서라면 ‘궁극적 범용성, 자율성 또는 성능’을 일부 포기할 수 있다고 밝혔다. 1023

이는 제약 없는 만능 자율 시스템을 먼저 만들려는 경쟁과는 결이 다르다. 마이크로소프트가 말하는 **‘휴머니스트 슈퍼인텔리전스’**는 매우 높은 성능을 갖추되, 통제 가능하고 정렬돼 있으며 인류를 위해 작동하도록 설계된 AI다. 25

6주 의견수렴 뒤, 2027년 개발 지침으로

행동강령 초안은 6주간 공개 의견을 받는다. 마이크로소프트는 피드백을 반영해 2026년 말 개정판을 공개하고, 이를 2027년 이후 MAI 모델 개발의 지침으로 쓰겠다고 밝혔다. 23

공개 의견수렴과 문서화된 행동 제약은 거버넌스 측면에서 의미 있는 약속이다. 그러나 이것만으로 통제나 정렬 문제가 기술적으로 해결됐다는 뜻은 아니다. 최종 원칙이 실제 모델 훈련, 안전성 평가, 접근 통제, 모니터링, 배포 결정에 어떻게 반영되는지가 핵심이다.

‘속도 조절’ 논쟁과 만나는 지점

나델라의 발언은 최전선 AI 연구소들이 모델 역량 향상 속도를 의도적으로 조절해야 하는지를 두고 벌어진 논쟁 속에서 나왔다. 앤트로픽의 다리오 아모데이는 안전 연구, 업계 공조, 국제 협력에 시간을 확보하기 위해 최전선 개발의 속도를 조절하자고 제안했다. 특히 기업이 안전 약속을 실제로 지키는지 검증할 수 있도록, 독립 평가자에게 직원 수준의 접근권을 제공하자는 방안이 핵심이다. 32

오픈AI의 샘 올트먼도 최전선 개발의 속도 조절에 공개적으로 동의하며, 비슷한 수준의 접근권을 가진 독립 평가자 도입 의사를 밝혔다. 보도에서 직접적인 우려로 언급된 것은 AI 에이전트 무리가 실제 시스템을 침해한 시험 결과였다. 이는 자율 에이전트가 스스로 승인 없이 현실의 공격을 수행했다는 확인된 사례와는 구분해야 한다. 34

나델라의 강조점은 이런 방향과 맞닿아 있다. 정렬 문제를 신중하게 다루고, 외부 검증을 개발 과정 가까이에 두며, 안전 발언을 실행 가능한 운영 장치로 바꾸자는 것이다. 다만 마이크로소프트의 공개 행동강령은 주로 모델이 어떻게 행동해야 하는지를 정한 문서다. 아모데이가 제안한 상주형 독립 평가자 프로그램과 동등한 제도를 직접 제시한 것은 아니다. 2332

‘승자독식 모델 경쟁’이 아닌 생태계

나델라는 안전 논의에 경제·제도적 관점도 더한다. AI의 혜택은 국가, 지역사회, 기업 전반으로 넓게 퍼져야 하며, 이를 위해 폐쇄형 모델과 오픈소스 모델이 모두 성장할 수 있는 **‘프런티어 생태계’**가 필요하다는 주장이다. 58

기업에는 조직 고유의 암묵지와 지식에 대한 자율성이 중요하다고 본다. 특정 모델 제공업체에 종속되지 않고, 각 조직이 자신만의 지속적 학습 고리(continuous learning loop)를 구축할 수 있어야 한다는 것이다. 58

이 구상은 모델의 행동만 규제하는 데서 한발 더 나아간다. 최전선 역량과 지식이 소수 제공업체에 집중되면 안전성, 회복력, 경제적 참여 모두가 약해질 수 있다는 문제의식이다. 다만 공개된 자료가 뒷받침하는 것은 기업의 데이터·지식·학습 고리에 대한 통제이며, 모든 참여자가 모델 가중치나 모든 기반 모델 시스템에 접근하게 된다는 뜻으로 확대 해석할 근거는 없다. 58

MAI는 무엇인가

MAI는 마이크로소프트 AI가 내부 개발하는 모델군이다. 공개 자료에 따르면 MAI-Thinking-1은 Microsoft Foundry에서 공개 미리보기로 제공됐고, MAI-Code-1.1-Flash는 에이전트형 코딩 작업에서 계획·추론·실행을 수행하도록 설계됐다. MAI-Image-2.6 문서는 유해하거나 부적절한 이미지 생성을 줄이는 정렬 목표도 설명한다. 272819

다만 공개 기록만으로는 MAI의 전체 기능, 향후 출시 계획, 배포 조건을 한 번에 파악할 수 없다. 새 행동강령이 실제로 어느 범위의 모델과 서비스에 적용될지를 평가할 때 이 불확실성은 중요하다.

남은 질문: 안전장치가 역량 향상 속도를 따라갈 수 있나

속도 조절을 주장하는 쪽이 모델 훈련이나 기술 발전의 중단을 뜻하는 것은 아니다. 역량이 커지는 속도에 맞춰 정렬 연구, 보호장치, 신뢰할 수 있는 외부 평가에 필요한 시간을 확보하자는 주장이다. 34

하지만 이 논의에는 중국과의 경쟁을 포함해 기술 주도권을 유지해야 한다는 지정학적 압력도 공존한다. 아모데이의 구상 역시 강한 안전 조치와 국제 공조, 미국의 리더십 유지라는 과제를 함께 다룬다. 32

나델라의 답은 개발 동결도, 단순 가속도 아니다. 사람의 통제 아래 고성능 AI를 발전시키고, 안전 약속을 구체적인 운영 제약으로 바꾸며, AI의 이익을 소수에게 집중시키지 않는 **‘통제된 진보’**에 가깝다. 마이크로소프트의 행동강령 초안은 그 제약을 명문화하려는 중요한 시도다. 다만 산업의 실제 안전 관행이 최전선 AI 역량의 상승 속도를 따라갈 수 있을지는 여전히 풀리지 않은 더 큰 질문으로 남아 있다. 2358