중국 AI의 병목, 이제는 ‘학습’보다 ‘추론’이다

중국의 하루 평균 AI 토큰 호출량은 2026년 3월 140조 건을 넘어섰다. 이는 2024년 초 약 1,000억 건에서 1,000배 이상 증가한 수치다. 중국 국가데이터국이 공개한 수치를 인용한 보도에 따른 것이다.

이 급증은 AI가 실험과 단발성 프롬프트를 넘어 실제 서비스로 이동하고 있음을 보여준다. AI 모델은 소비자용 비서, 기업용 소프트웨어, 현실의 업무 흐름을 수행하는 에이전트에 통합되고 있다. 그 결과 추론은 더 이상 학습 이후의 부수적인 단계가 아니라 컴퓨팅 소비를 이끄는 핵심 동력이 되고 있다.

하드웨어를 더하기 어려울수록 소프트웨어가 먼저다

미국의 수출 통제로 첨단 엔비디아 제품에 대한 접근이 제한된 데다, 고성능 프로세서 공급도 충분하지 않다. 여기에 새로운 하드웨어 생태계로 전환하려면 기존 모델과 도구, 개발·운영 방식을 다시 설계해야 하는 비용이 발생한다.

소프트웨어 최적화가 새로운 반도체를 만들어내지는 않는다. 그러나 현재 이용 가능한 프로세서에서 실제로 뽑아내는 유용한 작업량은 늘릴 수 있다. 기업들이 활용할 수 있는 방법은 다음과 같다.

• 작업 분배: 단순한 요청은 저렴한 국산 가속기로 보내고, 복잡한 요청은 엔비디아 GPU에 배정한다.
• 서빙 효율 개선: 요청을 묶고 처리 순서를 조정해 하드웨어가 대기하는 시간을 줄인다.
• 자원 기반 배포: 요청의 난이도와 고객 가치에 맞춰 모델 크기, 문맥 길이, 답변 방식을 선택한다.
• 이기종 인프라 구축: 모든 작업을 하나의 플랫폼에서 처리하도록 강제하지 않고 서로 다른 칩 아키텍처를 통합한다.

이런 조치는 급증하는 수요와 제한된 공급 사이의 간극을 메우는 현실적인 임시방편이다. 다만 품질이 중요한 고난도 작업이 여전히 소수의 고성능 프로세서에 의존한다면, 소프트웨어 최적화만으로 최첨단 하드웨어를 완전히 대체할 수는 없다.

값싼 토큰과 비싼 추론 사이의 상업적 압박

문제는 추론 서비스 가격이 낮아지고 있다는 점에서 더 복잡해진다. 제프리스 애널리스트들은 중국 모델의 토큰당 평균 비용이 미국 주요 기업의 제품보다 약 6분의 1이라고 추정했다.

낮은 가격은 이용자 확대에는 도움이 되지만, 희소한 고급 컴퓨팅 자원에 투자할 수 있는 수익은 제한한다. 동시에 코딩 보조 도구와 에이전트형 제품은 단순한 채팅보다 훨씬 많은 자원을 소비할 수 있다.

중국 AI 기업들은 수요가 빠르게 늘고, 이용자는 저렴한 서비스를 기대하며, 가장 뛰어난 추론용 컴퓨팅 자원은 쉽게 확충하거나 대체하기 어려운 상황을 동시에 맞고 있다.

이 긴장은 서비스 가용성에도 나타났다. 시장 보고서에 따르면 중국의 주요 모델 개발사와 클라우드 사업자들은 수요가 가용 컴퓨팅 자원을 초과하자 서비스 속도를 제한하고, 접근을 배급하거나, 가격을 인상했다. 특히 자원 소모가 큰 코딩 보조 서비스에서 이런 현상이 두드러졌다.

중국 AI의 진짜 부족분은 ‘칩 한 종류’가 아니다

중국의 AI 인프라 문제를 단순히 칩 부족으로만 보는 것은 충분하지 않다. 실제로 부족한 것은 고성능 프로세서, 호환 가능한 소프트웨어, 그리고 고부가가치 추론을 경제적으로 처리할 수 있는 운영 역량의 조합이다.

국산 하드웨어는 소프트웨어가 개선되고 각 칩의 강점에 맞춰 서비스가 설계될수록 더 많은 업무를 흡수할 수 있다. 그러나 현재의 대응 전략은 과도기적 성격이 강하다. 기업들은 추론의 모든 계층을 최적화하고, 국산 칩이 잘 처리하는 작업은 국산 칩으로 옮기며, 가장 어려운 작업에는 부족한 엔비디아 GPU를 남겨두고 있다.

이 방식은 기존 자원을 더 오래 활용하게 해줄 수 있다. 하지만 에이전트 기반 AI가 계속 성장하려면 중국이 하드웨어 공급뿐 아니라 서로 다른 프로세서를 실제 서비스에서 효율적으로 사용할 수 있게 해주는 소프트웨어 생태계까지 확장해야 한다.