AI 개발 속도 조절, 선언을 넘어 실제 출시 기준으로

AI 개발의 실질적인 속도 조절은 경제 전반의 AI 사용을 멈추는 대신, 가장 성능이 뛰어난 시스템의 개발과 출시 속도를 위험에 맞춰 관리하는 것에 가깝다. 최근 주요 AI 기업 경영진이 독립 평가와 국제 공조를 공개적으로 거론하면서 논의가 시작됐지만, 신뢰할 수 있는 안전장치가 되려면 자발적 약속만으로는 부족하다. 평가는 독립적으로 이뤄져야 하고, 결과에 따라 출시 여부가 달라질 수 있어야 하며, 규제 수준은 위험에 비례해야 한다.

싱가포르에는 에이전트형 AI 거버넌스 프레임워크, AI Verify 테스트 도구, 제3자 AI 테스터를 인정하는 프로그램이 있다. 이제 중요한 과제는 이 도구들을 실제로 배포되는 시스템에 대한 명확하고 근거 있는 판단으로 연결하는 일이다. 4

‘속도를 늦추자’는 제안이 뜻하는 것

최근 제안의 초점은 프런티어 AI, 즉 성능이 가장 뛰어난 AI 시스템의 개발 속도다. 이런 시스템에서는 성능 향상을 안전 대책과 외부 감독이 따라잡기 어려울 수 있다. 보도된 제안에는 외부 평가자가 선도 AI 기업을 지속적으로 살펴볼 수 있도록 하는 방안, 안전 기준을 조율하는 방안, 국제 협력을 넓히는 방안 등이 포함돼 있다.

이는 관심과 공감대가 커지고 있다는 뜻이지, 이미 확정된 정책이나 AI 기업 간의 구속력 있는 합의를 뜻하지는 않는다. 국제 AI 안전 보고서는 위험 관리 체계가 아직 발전 중이며 기업의 안전 관련 조치도 대부분 자발적이라고 짚었다. 기업이 모델을 시험하겠다고 약속하는 것과, 심각한 위험이 남아 있을 때 출시를 미루도록 강제하는 규칙은 다르다.

위험에 따라 출시 문턱을 달리해야

실용적인 접근은 성능이나 권한이 클수록 더 엄격한 조건을 적용하되, 일상적인 AI 활용까지 일괄적으로 멈추지는 않는 것이다. 글 초안을 만드는 도구와 중요한 업무를 자율적으로 처리할 권한을 받은 에이전트에 같은 요건을 적용할 이유는 없다. 싱가포르의 에이전트형 AI 프레임워크도 위험을 평가하고 범위를 제한하며, 중요하거나 민감한 조치에는 사람의 승인 단계를 두도록 권고한다. 46

프런티어 모델이나 영향이 큰 활용 사례에 대해서는 다음과 같은 출시 절차를 마련할 수 있다.

• 출시 전 독립 평가: 적격한 외부 평가자가 관련 시스템과 근거 자료에 안전하게 접근할 수 있도록 하고, 위험한 기능과 예측 가능한 오용 가능성을 점검한다. 평가자에게 지속적으로 접근 권한을 주자는 제안은 최근 논의에 포함됐지만, 어디서나 적용되는 현행 의무는 아니다.
• 명확한 기준과 후속 조치: 어떤 평가 결과가 추가 안전조치, 접근 제한 또는 출시 연기로 이어지는지 분명히 정한다. 평가를 통과하지 못했을 때는 대응 과정을 기록하고, 위험이 크다면 내부 재검토에 그치지 않고 출시를 보류해야 한다. 이는 제안할 수 있는 거버넌스 방안이지 싱가포르의 현행 프레임워크에 명시된 의무는 아니다. 4
• 배포 방식에 맞춘 통제: 중요한 권한을 가진 에이전트에는 접근 범위 제한, 주요 조치 전 사람의 승인, 모니터링과 책임 소재를 고려한다. 싱가포르 프레임워크는 위험 범위 제한과 의미 있는 인간 감독을 강조하며, 구체적인 통제는 시스템과 사용 목적에 맞춰야 한다. 48
• 중대한 변경 뒤 재평가: 모델이나 사용 도구, 배포 환경이 크게 바뀌면 다시 평가한다. 한 차례의 시험 결과를 영구적인 안전 보증으로 간주하지 않도록 하는 제안이다.

위험이 낮은 활용에는 더 간결하고 부담이 적은 절차를 제공할 수 있다. 위험 기반 규칙은 기업의 AI 도입 여지를 남기면서도, 한 번의 시험 통과가 모든 상황에서의 안전을 증명한다고 오해하지 않게 한다. 유럽연합의 AI법은 AI 활용의 위험도에 따라 규제를 구성한 사례다.

기준은 공적으로 정하고, 평가는 독립적으로

국제 공조가 이뤄지면 평가 결과를 서로 비교하기 쉬워지고, 감독이 가장 느슨한 곳을 찾아가는 유인도 줄어들 수 있다. 각국 정부는 공통 시험 방법, 사고 정보 공유, 최고위험 시스템에 대한 최소 기대 기준을 함께 마련할 수 있다. 독립 평가자는 그 기준에 따라 근거를 제시하게 된다. 최근의 속도 조절 제안에도 기업 간, 국경 간 공조가 포함돼 있다.

역할을 나누는 일도 중요하다. 공공기관은 구속력 있는 기준과 기준 위반에 따른 결과를 정해야 한다. 기업은 기술적 전문성을 보탤 수 있지만, 자사 시스템이 기준을 충족하는지 판단하는 유일한 주체가 되어서는 안 된다. 독립 평가자는 투명한 방법을 사용하고 이해충돌 여부를 공개해야 한다. 이는 제안되는 감독 체계의 설계 원칙이지, 업계의 공개 제안에 이미 포함된 제도적 장치라는 뜻은 아니다.

싱가포르가 가진 기반과 다음 과제

싱가포르의 에이전트형 AI 모델 거버넌스 프레임워크는 에이전트를 배포하는 조직을 위한 지침이다. 여기에는 위험 평가, 인간의 책임성, 통제 방안이 담겨 있다. 다만 이 프레임워크는 책임 있는 배포를 돕는 지침이며, 그 자체로 법적 구속력이 있는 출시 허가 절차는 아니다. 468

AI Verify는 테스트 도구를 제공하고, AI Tester Accreditation Programme은 관련 기술 역량과 운영 준비도를 갖춘 제3자 AI 시험기관을 인정한다. 이들 제도는 기업과 금융 분야 등에서 더 일관된 평가를 뒷받침할 수 있다. 싱가포르는 공통 평가 기준을 만들고, 모델 제공업체·시스템 통합업체·배포 조직·평가자가 각자 무엇을 입증해야 하는지 계약으로 명확히 하는 방안도 모색할 수 있다. 이는 가능한 다음 단계이지, 인용된 프레임워크에 이미 정해진 정책은 아니다.

유용한 목표는 시험 방법과 평가 근거의 국경 간 인정이다. 특정 국가의 인증 하나가 모든 시스템과 사용 방식의 안전을 보장한다고 주장하는 것과는 다르다. 프레임워크와 시험 도구는 근거를 더 체계적으로 모으는 데 도움이 되지만, 그 근거가 실제 배포 환경과 위험을 다루는지는 당국과 각 조직이 따로 판단해야 한다.

AI 안전성·소프트웨어 신뢰성·사이버보안을 함께 보기

AI 에이전트의 답변만 시험해서는 전체 위험을 평가하기 어렵다. 에이전트를 둘러싼 소프트웨어 시스템이 안정적으로 작동하는지, 에이전트가 접근할 수 있는 도구와 권한이 안전한지도 살펴야 한다. 이는 서로 관련은 있지만 다른 질문이다. AI가 어떤 해로운 행동을 만들어낼 수 있는가, 조립된 애플리케이션은 오류나 변경 상황에서 어떻게 작동하는가, 공격자가 시스템을 침해하거나 의도와 다르게 움직이게 할 수 있는가를 각각 확인해야 한다.

세 영역을 묶어 평가하자는 것은 안전성 보증을 확장하자는 제안이지, 기존 도구가 이미 모든 영역을 포괄한다는 뜻은 아니다. AI Verify Toolkit은 전통적인 머신러닝 시스템을 대상으로 공정성, 설명 가능성, 견고성 등의 기술 시험을 제공한다고 설명한다. 따라서 모델 수준의 평가 결과가 에이전트형 AI 배포 시스템 전체를 인증한다고 가정하기보다, 종단 간 시스템에 어떤 추가 시험이 필요한지 분명히 해야 한다.

‘의미 있는 속도 조절’의 기준

속도 조절이 실효성을 가지려면 독립 평가의 근거가 실제 결정에 영향을 줘야 한다. 안전장치가 충분하지 않은 고위험 시스템은 출시를 미루거나, 사용을 제한하거나, 문제를 바로잡도록 할 수 있어야 한다. 동시에 일상적이고 위험이 낮은 활용에는 그에 맞는 도입 경로가 남아 있어야 한다. 싱가포르의 프레임워크와 시험 프로그램은 이런 평가 체계를 만들 기반이 될 수 있지만, 출시 기준과 집행 방식, 평가 범위는 명확히 정해야 한다.