더 인포메이션(The Information)이 주주들에게 공유된 내부 문서를 인용해 보도한 이 수치는 AI 업계의 핵심 딜레마를 잘 보여준다: 폭발적인 수요가 아직 지속 가능한 수익으로 전환되지 않고 있다는 점이다 . 오픈AI와 앤스로픽(Anthropic) 모두 2026년 중반 비공개 IPO(기업공개) 신청서를 제출한 것으로 알려지면서 , 수익성 확보가 더욱 절실한 과제로 떠올랐다.

소프트웨어 해법: '멀티모델 라우팅'

오픈AI가 추론 비용을 절반 이상 줄이기 위해 개발한 핵심 소프트웨어 최적화 기술은 **멀티모델 라우팅(multi-model routing)**이다. 이 기술은 간단한 질의를 소형·저비용 모델로 자동 전환하고, 복잡한 요청에만 가장 강력하고 값비싼 모델을 할당하는 방식이다 .

업계 분석에 따르면 이러한 하이브리드 접근법은 모델 계층에서 양자화(quantization), 증류(distillation), 적정 규모화를 통해 30~75%의 비용 절감 효과를 낸다. 여기에 배칭(batching), 추측 디코딩(speculative decoding), KV 캐시 관리 등 런타임 최적화를 더하면 처리량이 40~80% 향상된다 . 오픈AI는 또한 Batch API를 통해 24시간 이내 결과를 기다릴 의사가 있는 고객에게 50% 할인된 가격을 제공하고 있다 .

더 인포메이션에 따르면, 이러한 최적화 기술 덕분에 오픈AI는 한때 로그아웃 상태의 ChatGPT 사용자를 단 수백 대의 엔비디아 GPU로도 서비스할 수 있었다고 한다 .

하드웨어 이니셔티브: '할라피뇨' 맞춤형 추론 칩

2026년 6월 24일, 오픈AI와 브로드컴(Broadcom)은 첫 맞춤형 AI 추론 칩인 **'할라피뇨(Jalapeño)'**를 공개했다 . 주요 내용은 다음과 같다.

• 종류: ASIC(주문형 반도체) — GPU가 아닌, 오로지 LLM 추론만을 위해 설계된 특화 칩이다
• 비용 절감: 초기 테스트 결과, 현재 엔비디아 GPU 기반 추론 하드웨어 대비 추론당 비용이 약 50% 낮은 것으로 나타났다
• 성능: 와트당 성능(performance per watt)이 현재 최고 수준보다 '상당히 우수'하다고 밝혔다
• 개발 기간: 자체 AI 모델을 설계에 활용하여 단 9개월 만에 설계부터 생산까지 완료했다
• 배치: 2026년 말까지 기가와트(GW) 규모로 데이터 센터에 배치하는 것을 목표로 한다
• 장기 계획: 2029년까지 10GW 규모의 인프라 구축을 위한 첫걸음이다
• 연간 절감액: 비용 절감 효과가 검증될 경우, 2028년까지 연간 5억~10억 달러를 아낄 수 있을 것으로 추산된다

오픈AI는 이 칩을 '자체 컴퓨팅 스택을 구축하기 위한 다년간 커스텀 실리콘 로드맵의 첫 번째 구성 요소'라고 설명하며, 엔비디아의 가격 협상력을 약화시키려는 의도를 드러냈다 . 할라피뇨는 수직 통합형으로, 오픈AI가 자체 추론 워크로드에만 독점 사용하며 외부 고객에게 판매되지 않는다 .

재무적 압박의 실체

2026년 1분기 주주 문서에 담긴 주요 재무 지표:

• 매출: 57억 달러 (전년 동기 대비 약 3배 증가)
• 현금 소진: 37억 달러 (전년 동기 대비 3배 증가)
• 운영 손실: 93억 달러 (1분기 기준)
• 순손실: 213억 달러 (주식 기반 보상 23억 달러 및 124억 달러의 비현금 회계 비용 포함)
• R&D 비용: 86억 달러
• 총이익률: 39%로 소폭 개선
• 보유 현금: 730억 달러 규모의 현금 및 유가증권 확보

회사의 영업이익률은 약 **-122%**로, 1달러를 벌 때마다 1.22달러의 손실을 본 셈이다 . 2025년 전체로는 약 385억 달러의 손실을 340억 달러 지출 속에서 기록했다 .

업계 경쟁: 추론 비용의 '대폭락'

오픈AI의 비용 절감 노력은 AI 경제 전반을 뒤흔드는 업계 전반의 가격 전쟁 속에서 이루어지고 있다:

• 앤스로픽: 2026년 5월 기준 미국 기업 시장에서 오픈AI를 제치고 점유율 1위(34.4%)를 차지했다 .
• 오픈소스 모델: 중국의 4개 오픈웨이트 코딩 모델이 프런티어 수준의 성능을 독점 모델 대비 3분의 1 비용으로 제공한다 . 특히 딥시크(DeepSeek) V4는 클로드 오푸스 4.6 대비 50배 저렴하게 운영된다는 보고도 있다 .
• 구글 제미나이 3.1 플래시: 입력 토큰 100만 개당 0.10달러로, 3년 만에 99.7% 가격이 하락했다 .
• 앤스로픽 클로드 소네트 4.6: 입력 토큰 100만 개당 3달러에 GPT-4의 모든 기존 벤치마크를 능가한다 .
• AI 추론 비용은 3년 만에 약 50분의 1 수준으로 떨어졌으며, 시장 규모는 2025년 1030억 달러에서 2030년 2550억 달러로 성장할 전망이다 .
• 오픈AI는 앤스로픽의 움직임을 견제하기 위해 개발자 및 기업 고객을 대상으로 상당한 규모의 토큰 가격 인하를 검토 중이다 .
• 고객들은 점차 여러 제공업체의 모델을 섞어 사용할 수 있는 멀티모델 라우팅 도구를 활용해 특정 업체의 프리미엄 가격을 회피하고 있다 .

AI 산업에 주는 의미

소프트웨어와 하드웨어 최적화의 결합은 오픈AI가 규모를 확장하면서도 추론 비용을 절반으로 낮출 수 있는 잠재력을 제공한다. 하지만 이는 단독으로 가능한 일이 아니다. 경쟁사, 오픈소스 대안, 특화 하드웨어에 의해 촉발된 추론 가격의 전반적인 붕괴는 업계 전체의 가격 협상력을 약화시키고 있다 .

기업 입장에서는 좋은 소식이다: AI 워크로드 실행의 실질적 비용이 기능 성장 속도보다 빠르게 하락하고 있기 때문이다. 오픈AI의 Batch API는 이미 지연이 허용되는 작업에 50% 할인을 제공하며, 멀티모델 라우팅은 품질 저하 없이 비용을 40~60% 줄일 수 있다 . 과연 어떤 단일 제공업체가 중국 오픈소스 모델이 프런티어 수준의 역량을 극히 일부 비용에 제공하는 시장에서 프리미엄 가격을 유지할 수 있을지가 관건이다.

더 인포메이션(The Information)이 주주들에게 공유된 내부 문서를 인용해 보도한 이 수치는 AI 업계의 핵심 딜레마를 잘 보여준다: 폭발적인 수요가 아직 지속 가능한 수익으로 전환되지 않고 있다는 점이다 . 오픈AI와 앤스로픽(Anthropic) 모두 2026년 중반 비공개 IPO(기업공개) 신청서를 제출한 것으로 알려지면서 , 수익성 확보가 더욱 절실한 과제로 떠올랐다.

소프트웨어 해법: '멀티모델 라우팅'

오픈AI가 추론 비용을 절반 이상 줄이기 위해 개발한 핵심 소프트웨어 최적화 기술은 **멀티모델 라우팅(multi-model routing)**이다. 이 기술은 간단한 질의를 소형·저비용 모델로 자동 전환하고, 복잡한 요청에만 가장 강력하고 값비싼 모델을 할당하는 방식이다 .

업계 분석에 따르면 이러한 하이브리드 접근법은 모델 계층에서 양자화(quantization), 증류(distillation), 적정 규모화를 통해 30~75%의 비용 절감 효과를 낸다. 여기에 배칭(batching), 추측 디코딩(speculative decoding), KV 캐시 관리 등 런타임 최적화를 더하면 처리량이 40~80% 향상된다 . 오픈AI는 또한 Batch API를 통해 24시간 이내 결과를 기다릴 의사가 있는 고객에게 50% 할인된 가격을 제공하고 있다 .

더 인포메이션에 따르면, 이러한 최적화 기술 덕분에 오픈AI는 한때 로그아웃 상태의 ChatGPT 사용자를 단 수백 대의 엔비디아 GPU로도 서비스할 수 있었다고 한다 .

하드웨어 이니셔티브: '할라피뇨' 맞춤형 추론 칩

2026년 6월 24일, 오픈AI와 브로드컴(Broadcom)은 첫 맞춤형 AI 추론 칩인 **'할라피뇨(Jalapeño)'**를 공개했다 . 주요 내용은 다음과 같다.

• 종류: ASIC(주문형 반도체) — GPU가 아닌, 오로지 LLM 추론만을 위해 설계된 특화 칩이다
• 비용 절감: 초기 테스트 결과, 현재 엔비디아 GPU 기반 추론 하드웨어 대비 추론당 비용이 약 50% 낮은 것으로 나타났다
• 성능: 와트당 성능(performance per watt)이 현재 최고 수준보다 '상당히 우수'하다고 밝혔다
• 개발 기간: 자체 AI 모델을 설계에 활용하여 단 9개월 만에 설계부터 생산까지 완료했다
• 배치: 2026년 말까지 기가와트(GW) 규모로 데이터 센터에 배치하는 것을 목표로 한다
• 장기 계획: 2029년까지 10GW 규모의 인프라 구축을 위한 첫걸음이다
• 연간 절감액: 비용 절감 효과가 검증될 경우, 2028년까지 연간 5억~10억 달러를 아낄 수 있을 것으로 추산된다

오픈AI는 이 칩을 '자체 컴퓨팅 스택을 구축하기 위한 다년간 커스텀 실리콘 로드맵의 첫 번째 구성 요소'라고 설명하며, 엔비디아의 가격 협상력을 약화시키려는 의도를 드러냈다 . 할라피뇨는 수직 통합형으로, 오픈AI가 자체 추론 워크로드에만 독점 사용하며 외부 고객에게 판매되지 않는다 .

재무적 압박의 실체

2026년 1분기 주주 문서에 담긴 주요 재무 지표:

• 매출: 57억 달러 (전년 동기 대비 약 3배 증가)
• 현금 소진: 37억 달러 (전년 동기 대비 3배 증가)
• 운영 손실: 93억 달러 (1분기 기준)
• 순손실: 213억 달러 (주식 기반 보상 23억 달러 및 124억 달러의 비현금 회계 비용 포함)
• R&D 비용: 86억 달러
• 총이익률: 39%로 소폭 개선
• 보유 현금: 730억 달러 규모의 현금 및 유가증권 확보

회사의 영업이익률은 약 **-122%**로, 1달러를 벌 때마다 1.22달러의 손실을 본 셈이다 . 2025년 전체로는 약 385억 달러의 손실을 340억 달러 지출 속에서 기록했다 .

업계 경쟁: 추론 비용의 '대폭락'

오픈AI의 비용 절감 노력은 AI 경제 전반을 뒤흔드는 업계 전반의 가격 전쟁 속에서 이루어지고 있다:

• 앤스로픽: 2026년 5월 기준 미국 기업 시장에서 오픈AI를 제치고 점유율 1위(34.4%)를 차지했다 .
• 오픈소스 모델: 중국의 4개 오픈웨이트 코딩 모델이 프런티어 수준의 성능을 독점 모델 대비 3분의 1 비용으로 제공한다 . 특히 딥시크(DeepSeek) V4는 클로드 오푸스 4.6 대비 50배 저렴하게 운영된다는 보고도 있다 .
• 구글 제미나이 3.1 플래시: 입력 토큰 100만 개당 0.10달러로, 3년 만에 99.7% 가격이 하락했다 .
• 앤스로픽 클로드 소네트 4.6: 입력 토큰 100만 개당 3달러에 GPT-4의 모든 기존 벤치마크를 능가한다 .
• AI 추론 비용은 3년 만에 약 50분의 1 수준으로 떨어졌으며, 시장 규모는 2025년 1030억 달러에서 2030년 2550억 달러로 성장할 전망이다 .
• 오픈AI는 앤스로픽의 움직임을 견제하기 위해 개발자 및 기업 고객을 대상으로 상당한 규모의 토큰 가격 인하를 검토 중이다 .
• 고객들은 점차 여러 제공업체의 모델을 섞어 사용할 수 있는 멀티모델 라우팅 도구를 활용해 특정 업체의 프리미엄 가격을 회피하고 있다 .

AI 산업에 주는 의미

소프트웨어와 하드웨어 최적화의 결합은 오픈AI가 규모를 확장하면서도 추론 비용을 절반으로 낮출 수 있는 잠재력을 제공한다. 하지만 이는 단독으로 가능한 일이 아니다. 경쟁사, 오픈소스 대안, 특화 하드웨어에 의해 촉발된 추론 가격의 전반적인 붕괴는 업계 전체의 가격 협상력을 약화시키고 있다 .

기업 입장에서는 좋은 소식이다: AI 워크로드 실행의 실질적 비용이 기능 성장 속도보다 빠르게 하락하고 있기 때문이다. 오픈AI의 Batch API는 이미 지연이 허용되는 작업에 50% 할인을 제공하며, 멀티모델 라우팅은 품질 저하 없이 비용을 40~60% 줄일 수 있다 . 과연 어떤 단일 제공업체가 중국 오픈소스 모델이 프런티어 수준의 역량을 극히 일부 비용에 제공하는 시장에서 프리미엄 가격을 유지할 수 있을지가 관건이다.