마이크로소프트의 AI 병목은 칩이 아니라 전력이다

마이크로소프트의 AI 인프라 문제는 이제 ‘칩을 얼마나 확보했느냐’보다 ‘그 칩을 실제로 가동할 수 있느냐’에 가까워지고 있다. 고성능 칩은 완공된 데이터센터에 설치돼 전력·냉각·네트워크·운영 인력과 연결되기 전까지는 고객이 사용할 수 있는 컴퓨팅 용량이 아니다. 보도에 따르면 마이크로소프트는 데이터센터 건설이 늦어지면서 수천 개의 첨단 AI 칩을 보유하고도 대기시키고 있다.

이는 막대한 하드웨어 투자가 매출로 이어지는 경로를 늦춘다. Azure에서는 수요가 가용 용량을 웃도는 상황이 이어지는 것으로 전해졌고, 전력과 즉시 사용할 수 있는 데이터센터 공간이 새로운 가속기를 온라인에 투입하는 속도를 제한하고 있다.

Azure와 Copilot에 나타날 수 있는 변화

당장 Azure OpenAI나 Copilot이 멈춘다는 뜻은 아니다. 문제는 마이크로소프트가 신규 고객을 더 받고, 처리량을 늘리고, 새로운 지역에 서비스를 열거나, 상용 고객과 자체 제품 사이에서 컴퓨팅 자원을 유연하게 배분할 여지가 줄어든다는 데 있다.

Azure 고객에게는 특정 지역의 고성능 용량 부족, 느린 온보딩, 제한적인 모델·처리량 할당으로 나타날 수 있다. 마이크로소프트 입장에서는 재무적 부담도 크다. 설치되지 않은 가속기는 추론 용량을 만들어내지 못하고, 실제 서비스는 여전히 더 비싼 범용 하드웨어에서 실행될 수 있기 때문이다.

특히 Copilot은 대규모 추론 요청을 예측 가능한 비용으로 처리해야 사업성이 맞는다. 더 효율적인 가속기는 이 구조를 개선할 수 있지만, 칩이 정상적으로 연결된 클러스터에 들어간 뒤에야 가능한 이야기다.

Maia 200, 비용은 낮춰도 전력 문제는 해결하지 못해

마이크로소프트의 Maia 200은 학습이 끝난 AI 모델이 응답을 생성하는 ‘추론’ 작업에 초점을 맞춘 칩이다. 마이크로소프트는 Maia 200이 경쟁사의 AWS 및 구글 가속기보다 높은 FP4·FP8 성능을 낸다고 설명한다. 다만 이는 독립적인 종합 벤치마크가 아니라 업체가 제시한 비교 수치다.

다른 보도에서는 마이크로소프트와 OpenAI의 워크로드를 기준으로 Maia 200의 운영 비용이 최상위 엔비디아 하드웨어보다 약 30~40% 낮을 수 있다고 전했다. 이 수치 역시 모든 모델, 소프트웨어 스택, 가동률에서 보장되는 결과가 아니라 보고된 추정치로 봐야 한다.

전략적 방향은 분명하다. Maia 200이 실제 운영 규모에서도 기대한 성능을 낸다면 마이크로소프트는 일부 추론 작업에서 엔비디아 의존도를 줄이고 Copilot과 Azure OpenAI의 비용 구조를 개선할 수 있다. 그러나 자체 설계 칩도 고대역폭 메모리(HBM), 첨단 패키징, 네트워크, 랙, 냉각 설비, 전력을 필요로 한다.

즉 Maia는 이미 가동 중인 데이터센터의 비용 효율을 높일 수는 있지만, 아직 완공되지 않았거나 전력이 연결되지 않은 데이터센터를 작동시키지는 못한다.

Maia 300은 ‘배치된 용량’이 아닌 규모 확대 계획

로이터는 마이크로소프트가 이르면 올가을 Maia 300을 공개할 계획이며, 2027년 인도를 목표로 30만 개가 넘는 칩의 TSMC 생산 능력을 확보하는 방안을 논의하고 있다고 보도했다. 장기적으로는 100만 개를 웃도는 물량을 확보하려는 목표도 거론됐다.

다만 이 숫자는 확정 출하량이 아니라 협상 중인 계획으로 봐야 한다. 마이크로소프트는 해당 보도 수치에 이의를 제기하고 있다. 설령 파운드리 생산 능력을 확보하더라도 메모리와 기타 부품을 조달하고, 시스템을 통합한 뒤, 전력이 공급되는 시설에 설치하는 과정이 남는다.

계획대로 증산된다면 Maia 300은 제한적인 내부 효율화 프로젝트를 넘어 의미 있는 추론 용량의 대체 공급원으로 자리 잡을 수 있다. 성공 여부는 제조, 시스템 통합, 데이터센터 준비가 동시에 맞물리느냐에 달렸다.

AWS와 구글이 앞서 보이는 이유

AWS는 자체 가속기 운영 경험에서 더 앞선 모습을 보인다. 아마존은 3세대에 걸쳐 140만 개의 Trainium 칩이 배치됐으며, TechCrunch에 따르면 Anthropic의 Claude는 이 가운데 100만 개가 넘는 Trainium2 칩을 사용하고 있다고 밝혔다. AWS는 추론에 특화된 Inferentia도 별도로 운영하고 있어 학습과 서비스 제공 양쪽에서 경험을 쌓고 있다.

구글의 TPU 사업은 생산·운영 역사가 더 길다. Ironwood 아키텍처는 최대 9,216개 칩으로 구성된 포드로 확장할 수 있는 것으로 설명된다. Anthropic이 최대 100만 개의 구글 TPU에 접근할 수 있다는 보도도 있지만, 이는 용량 약정에 관한 이야기이지 현재 설치된 전체 칩 수를 확정하는 비교 자료는 아니다.

마이크로소프트, AWS, 구글의 전체 AI 칩 수를 동일한 기준으로 비교할 수 있는 공개 자료는 없다. 기업마다 세대, 워크로드, 소유 방식, 그리고 ‘설치’, ‘배치’, ‘약정’ 용량을 다르게 집계하기 때문이다.

따라서 더 신중한 결론은 이렇다. AWS와 구글은 성숙한 자체 칩 배치와 운영 경험에서 앞선 것으로 보이며, 마이크로소프트는 Maia를 통해 격차를 좁히려 하고 있다.

업계 전체의 공급난이 추격을 더 어렵게 만든다

이런 제약은 마이크로소프트만의 문제가 아니다. Ars Technica가 요약한 보고서에 따르면 2026년 완공을 계획한 미국 데이터센터 프로젝트의 약 40%가 인력·전력·자재 부족과 인허가 문제로 지연 위험에 놓였다.

메모리도 또 다른 병목이다. 업계에서는 2026년 데이터센터가 고급 메모리 생산량의 70% 이상을 소비할 수 있다고 전망했고, 시놉시스 최고경영자는 반도체 공급 부족이 2027년까지 이어질 수 있다고 말했다. 다만 가격과 공급 영향은 메모리 종류, 공급업체, 계약 조건에 따라 달라진다.

이 같은 상황은 계획된 AI 용량과 실제 사용할 수 있는 AI 용량 사이의 격차를 키운다. 이미 전력이 공급되는 부지, 일찍 확보한 전력망 연결, 성숙한 공급망, 대규모 운영 클러스터를 가진 기업은 계속 워크로드를 추가할 수 있다. 반면 신규 시설은 변압기, 냉각 시스템, 숙련 인력, 전력망 연결을 기다려야 한다.

결론: 마이크로소프트의 시험대는 칩 설계보다 실행 순서

데이터센터 지연이 마이크로소프트의 AI 전략 자체를 무효로 만드는 것은 아니다. 하지만 이 전략은 실행 순서에 매우 민감하다. 가속기를 구매하고 Maia 칩을 설계하며 제조 계약을 논의하는 것만으로는 고객에게 제공할 컴퓨팅 용량이 생기지 않는다.

단기적으로는 Azure의 용량 확대가 느려지고 Copilot과 Azure OpenAI의 추가 추론 비용이 높아질 위험이 있다. 경쟁 측면에서는 AWS와 구글이 이미 배치한 자체 칩을 활용해 마이크로소프트보다 먼저 가격, 가용성, 개발자 경험을 개선할 가능성이 문제다.

Maia 200은 대규모로 설치될 경우 추론 비용을 낮출 수 있다. Maia 300도 보고된 제조 계획이 현실화되면 2027년부터 공급원을 다변화하는 역할을 할 수 있다. 그러나 그때까지 마이크로소프트가 풀어야 할 핵심 과제는 단순하다. 구매한 칩과 야심 찬 계획을 실제로 전력이 공급되는 운영 용량으로 바꾸는 일이다.