인공지능 비용 구조의 역사적 전환: 추론(Inference) 지출, 학습(Training) 첫 추월

추론 vs. 학습: 숫자로 보는 전환

가트너의 2026년 8월 보고서는 AI 최적화 클라우드 인프라(IaaS) 지출에 대한 다음과 같은 전망을 담고 있습니다.

• 2026년: 추론 워크로드 지출은 233억 달러로, 학습의 190억 달러를 넘어설 전망입니다. AI 최적화 IaaS에서 추론이 학습을 앞지른 것은 이번이 처음입니다 .
• 2027년: 추론 지출 비중은 AI 최적화 IaaS 지출의 **59%**를 차지할 것으로 예상되며, 이는 2026년 55%에서 증가한 수치입니다 .

초기 생성형 AI 붐 시기에는 학습이 인프라 지출을 주도했지만, 이제 이 구도는 완전히 역전되었습니다 .

성장은 추론에만 국한되지 않습니다. 전체 AI 최적화 IaaS 지출은 2025년 215억 달러에서 2026년 423억 달러로 96.4% 증가할 것으로 예측됩니다. 2027년에는 56.5% 증가한 661억 달러 규모에 이를 전망입니다 .

비-AI 워크로드를 포함한 전 세계 IaaS 지출은 2026년 2,873억 달러(2025년 2,222억 달러 대비 29.3% 증가), 2027년에는 3,599억 달러에 달할 것으로 보입니다 .

왜 전환이 일어났는가: 에이전틱 AI와 미세 조정 모델

가트너에 따르면, 추론 지출이 학습을 앞지르는 데는 두 가지 주요 동력이 작용했습니다.

• 에이전틱 AI(Agentic AI) — 다단계 작업을 자율적으로 실행하는 시스템 — 는 연산 강도를 극적으로 증폭시켜 추론을 지배적인 소비 모델로 만들었습니다 .
• **미세 조정(Fine-tuned) 및 도메인 특화 모델(DSM)**이 고객 대면 및 운영 시스템에 통합되면서, 주기적인 학습 주기 대신 지속적이고 실시간 실행이 필요해졌습니다 .

가트너의 애널리스트 하디프 싱(Hardeep Singh)은 "이러한 변화는 클라우드 소비 패턴을 가속화하고 AI 최적화 인프라에 대한 지속적인 수요를 창출하고 있다"고 분석했습니다 .

이러한 패턴은 다른 분석 기관의 데이터로도 확인됩니다. 딜로이트(Deloitte)의 Tech Trends 2026에 따르면 2026년에는 추론이 전체 AI 연산의 3분의 2를 차지할 것으로 추정됩니다 . 퓨처럼 그룹(Futurum Group)의 독립적 전망은 관리형 추론(managed inference)이 2025년에 이미 231억 달러(인프라 지출의 58.6%)에 도달했으며, 추론이 학습을 앞지른 시점을 2025년으로 더 앞당겨 잡고 있습니다 .

더 넓은 AI 지출 지형

가트너의 지출 수치는 훨씬 더 큰 그림의 일부입니다.

• 전 세계 AI 지출(전 분야)은 2026년 총 2조 5,900억 달러로, 전년 대비 47% 증가할 것으로 예측됩니다 .
• **하이퍼스케일러(Hyperscaler)**들은 2026년 AI 인프라에 **총 5,000억 달러 이상의 자본 지출(CAPEX)**을 발표했습니다 .
• 급증하는 지출은 기업들이 시범 운영(Pilot) 단계에서 본격적인 운영(Production) 단계로 전환하고 있음을 반영하며, 추론 비용이 지배적인 지출 항목으로 부상하고 있음을 보여줍니다 .

딜로이트는 추론 클라우드 API 가격이 전년 대비 거의 80% 하락했다고 지적하지만, 단위 비용 감소보다 사용량 증가가 훨씬 빠르게 진행되면서 전체 지출은 폭발적으로 증가하고 있습니다 .

가트너의 경고: 예산 폭발 위험

가트너는 또한 우려스러운 결과를 발표했습니다. 2028년까지 생성AI 이니셔티브의 최소 50%가 계획된 예산을 초과할 것이라는 전망입니다. 그 원인은 잘못된 아키텍처 선택과 운영 전문성 부족에 있습니다 .

추론이 주요 원인입니다. 학습이 일반적으로 선불로 지불되는 대규모 비용인 반면, 추론 비용은 사용자나 애플리케이션이 모델을 호출할 때마다 반복해서 발생합니다. 가트너는 추론이 모델의 **전체 수명 주기 비용의 최소 70%**를 차지할 것으로 예상합니다 .

CIO를 위한 전략적 시사점

가트너는 다음과 같은 전략적 조치를 권장합니다.

• AI 인프라 투자를 추론 워크로드에 우선 집중하라 — 지출과 성장의 대부분이 이곳에 집중되어 있습니다 .
• 획일적인 아키텍처(one-size-fits-all)를 피하라 — 최적의 접근 방식은 사용 사례, 데이터 위치, 규제 요구 사항 및 비용 구조에 따라 달라집니다 .
• AI 배포를 위해 하이브리드 클라우드 모델을 채택하라 — 유연성, 비용 관리 및 데이터 주권의 균형을 맞출 수 있습니다. 가트너의 CIO Playbook 2026에 따르면 조직의 약 3분의 2(62%)가 현재 하이브리드 방식을 주요 AI 배포 모델로 선호합니다 .
• 지속적인 비용 증가에 대비하라 — 단위 가격 하락이 총 비용을 낮출 것이라는 가정에 의존해서는 안 됩니다 .

이것이 산업에 의미하는 바

이번 '추론 전환(Inference Flip)'은 단순한 지출 통계가 아닙니다. 이는 AI 인프라 우선순위의 근본적인 재편을 의미합니다. '더 큰 모델을 만드는 것'이 주요 비용 동인이었던 시대는 저물고, '그 모델을 실제 운영 환경에서 대규모로 실행하는 것'의 시대로 접어들었습니다. 클라우드 제공업체에게 이는 GPU와 ASIC(주문형 반도체) 용량에 대한 지속적인 수요를 의미합니다. 기업에게는 인프라 계획이 이제 모델 학습에 대한 선불 투자뿐만 아니라 AI의 운영 비용에 초점을 맞춰야 함을 의미합니다.

가트너의 보고서가 분명히 보여주듯, '개발에서 배포로'의 전환이 도래했으며, 예산 항목은 결코 예전과 같지 않을 것입니다.