첨단 AI 모델을 확보했다고 해서 곧바로 실제 서비스에 투입할 수 있는 것은 아니다. 아시아·태평양 및 일본(APJ) 지역 조사에서는 기업의 77~87%가 사내 데이터센터 등 온프레미스 인프라가 AI 업무를 완전히 지원할 준비가 되지 않았다고 답했다. 싱가포르의 응답 비율도 77%였다.
2
14 성능 병목, 보안과 데이터 주권 문제, 여러 환경에 걸친 배포·운영의 복잡성이 시범사업과 본격적인 도입 사이의 간극을 만든다. 이 기반을 사용 사례를 정한 뒤에 덧붙이기보다, 처음부터 함께 설계하는 것이 관건이다.
시범사업이 실제 서비스로 이어지지 않는 이유
통제된 환경에서 잘 작동한 시범사업도 일상적인 업무에 투입되면 다른 문제를 만날 수 있다. 실제 서비스에서는 데이터가 들어오고 나가는 경로, 기존 업무 시스템과의 연동, 가용성 기대치, 보안 통제, 지속적인 운영 비용을 모두 고려해야 한다. AI 모델은 서비스 전체를 이루는 여러 요소 가운데 하나일 뿐이다.
APJ 지역 보고서는 본사 밖으로 AI 업무를 확장할 때 성능 병목, 보안과 데이터 주권, 배포 및 관리의 복잡성이 주요 과제로 꼽힌다고 전했다.
2 이를 각기 별도의 인프라 과제로만 다루면, 유망한 시제품을 만들고도 통제된 방식으로 확장할 경로를 마련하지 못할 수 있다.
다만 준비도 수치는 기업별 인프라를 독립적으로 감사한 결과가 아니라 설문 응답을 바탕으로 한 것이다.
12 어떤 AI 프로젝트가 성공하거나 실패할지를 정확히 예측하는 수치라기보다, 기업들이 공통적으로 느끼는 우려를 보여주는 지표로 읽을 필요가 있다.
사용 사례에 맞춰 실제 운영 계획을 세우기
먼저 해결하려는 구체적인 사업 문제를 정하고, 어디서 어떤 방식으로 AI를 운영할지 결정하기 전에 성공적인 운영의 기준부터 마련해야 한다. 사업 성과를 책임질 담당자, 측정 가능한 목표, 서비스 품질과 비용 기준, 결과가 불확실하거나 시스템에 장애가 생겼을 때의 대응 절차를 정해 두는 것이 좋다.
그다음 애플리케이션이 의존하는 요소를 살펴본다. 데이터 접근과 이동, 저장 공간, 연산 자원, 네트워크 용량, 기존 시스템과의 연결, 보안 통제, 운영 지원이 여기에 포함된다. 예상 사용 환경과 비슷한 조건에서 각 요소를 시험하면 병목이 모델에 있는지, 인프라나 데이터 접근에 있는지, 서비스 운영 방식에 있는지 구분하기 쉬워진다.
AI 로드맵과 인프라 로드맵도 이런 요구사항을 중심으로 맞춰야 한다. AI 도입을 이유로 모든 레거시 시스템을 한꺼번에 교체하기보다, 해당 사용 사례의 구현을 가로막는 부분부터 현대화하는 편이 현실적이다.
거버넌스를 개발·배포 과정에 포함하기
싱가포르 금융기관의 경우 싱가포르 통화청(MAS)의 AI 리스크 관리 지침이 감독 체계, 위험 관리 시스템, AI 수명주기 통제에 관한 기대사항을 제시한다.
21
31 MAS는 금융기관이 AI 리스크 관리를 실제 업무에 적용할 수 있도록 업계가 함께 개발한 도구도 안내하고 있다.
18
기업이 참고할 운영상의 교훈은 서비스 출시 전에 책임 소재를 분명히 하는 것이다. 사업 성과, 데이터, 모델, 인프라, 사고 대응을 각각 누가 맡을지 정하고, 검토와 승인 시점, 모니터링 방식, 사람의 개입이나 서비스 중단이 필요한 조건을 구체화해야 한다. 거버넌스는 마지막 승인 단계에서 덧붙이는 절차보다 설계와 배포 의사결정에 반영될 때 실효성이 크다.
데이터 주권은 실제 운영 관점에서 검토하기
데이터센터가 어느 나라에 있는지만으로 데이터에 대한 통제 문제가 모두 해결되는 것은 아니다. 법적 관할권과 그 밖의 데이터 접근 조건도 중요할 수 있다.
33 배포 전에는 어떤 데이터가 처리되고 어디로 이동하는지 살펴봐야 한다. 로그와 백업처럼 운영 과정에서 생기는 데이터 사본도 포함된다. 서비스에 적용되는 관할권과 접근 조건을 검토한 뒤, 승인된 위치와 데이터 이전 규칙을 배포 및 지원 절차에 반영해야 한다.
요건은 조직과 사용 사례에 따라 다르다. 모든 AI 업무를 반드시 온프레미스에서 운영해야 한다고 가정하기보다, 적용되는 의무에 맞춰 데이터의 위치와 접근 방식을 신중하게 결정하는 것이 목표다.
가상머신과 컨테이너를 일관된 통제로 연결하기
많은 기업은 가상머신(VM) 기반의 기존 업무 시스템과 컨테이너 기반 서비스를 함께 운영해야 한다. APJ 지역에서는 하이브리드 환경이 확장되면서 가상화와 컨테이너를 결합하는 기업이 늘고 있지만, 이를 위해 새로운 기술 역량과 운영 방식도 필요하다는 보고가 나왔다.
3
현실적인 접근법은 기존 시스템이 적합한 동안에는 가상머신을 유지하고, 애플리케이션에 맞는 AI 서비스는 컨테이너로 운영하는 것이다. 두 환경은 관리되는 데이터 인터페이스와 API로 연결하고, 계정·접근 관리, 보안, 모니터링, 백업과 복구에는 일관된 기준을 적용할 수 있다. 하나의 운영 모델이란 모든 업무가 같은 기술을 써야 한다는 뜻이 아니라, 공통 통제와 명확한 책임 체계를 갖춘다는 의미다.
반복 가능한 방식으로 확장하기
사업, 데이터, 플랫폼, 보안, 리스크, 운영팀을 하나의 개발·배포 과정에 참여시켜야 한다. 사용 사례의 의존 요소와 통제, 지원 체계가 준비됐을 때 실제 서비스로 전환하고, 출시 후에는 사업 성과와 함께 안정성, 서비스 품질, 비용을 살펴본다. 그 과정에서 얻은 교훈을 다음 사용 사례에 적용할 수 있도록 배포 템플릿과 운영 절차를 개선해 나간다.
포뮬러원에 비유하면 핵심은 엔진 출력만이 아니다. 차체와 제어 장치, 데이터와 정비팀이 함께 맞물려야 끝까지 달릴 수 있듯, AI도 모델과 인프라, 거버넌스, 데이터 관리, 운영 인력이 함께 작동해야 시범사업을 넘어 안정적인 서비스로 자리 잡을 수 있다.