답변게시됨2개월 전Last edited 2개월 전19 소스

오픈AI ‘할라페뇨’ 칩, 엔비디아 GB200·GB300보다 빠른 AI 추론 성능 내세워

오픈AI는 GPT‑OSS 120B, DeepSeek R1, Kimi K2.5 1T 테스트에서 할라페뇨가 비교 대상인 엔비디아 GB200·GB300보다 피크 처리량 기준 전력당 AI 작업량을 1.5 1.9배 높였다고 밝혔다. DeepSeek R1에서는 최소 토큰 간격 기준 사용자당 약 700토큰/초를 기록해 GB300의 169토큰/초보다 빠르다고 주장했다.

게시자GPT-5.6 Luna로 편집GPT Image 1.5로 이미지 생성

Studio Global AI로 검색 및 팩트체크 인기 페이지 더 보기

연구 답변

주요 시사점

오픈AI는 GPT‑OSS 120B, DeepSeek R1, Kimi K2.5 1T 테스트에서 할라페뇨가 비교 대상인 엔비디아 GB200·GB300보다 피크 처리량 기준 전력당 AI 작업량을 1.5 1.9배 높였다고 밝혔다.
DeepSeek R1에서는 최소 토큰 간격 기준 사용자당 약 700토큰/초를 기록해 GB300의 169토큰/초보다 빠르다고 주장했다.
할라페뇨는 학습이 아닌 추론 전용 가속기이며, 오픈AI는 2026년 말부터 제한적으로 내부 인프라에 도입하고 2027년 용량을 늘릴 계획이다.

Editorial illustration of OpenAI’s Jalapeño custom AI inference chip competing with Nvidia data-center accelerators — What did OpenAI’s custom Jalapeño inference chip, co-developed with Broadcom, demonstrate in its latest benchmarks against Nvidia’s GB200 anOpenAI says its Jalapeño accelerator is optimized for large language model inference rather than training.
AI 프롬프트
Create a landscape editorial hero image for this Studio Global article: What did OpenAI’s custom Jalapeño inference chip, co-developed with Broadcom, demonstrate in its latest benchmarks against Nvidia’s GB200 an. Article summary: OpenAI says Jalapeño, its first Broadcom co-developed custom accelerator, beats the compared Nvidia GB200/GB300 rack systems on the tested inference workloads in both energy efficiency and response speed. These are early. Topic tags: general, documentation, general web, education, user generated. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text,
openai.com

오픈AI가 처음으로 자체 설계한 AI 가속기 ‘할라페뇨(Jalapeño)’의 초기 성능을 공개했다. 회사 발표에 따르면 할라페뇨는 GPT‑OSS 120B, DeepSeek R1, Kimi K2.5 1T를 대상으로 한 최신 추론 테스트에서 엔비디아 GB200·GB300 시스템보다 전력 효율이 높고 응답도 빠른 결과를 냈다. 3 4

다만 이번 결과는 특정 InferenceX 구성에서 진행된 초기 회사 발표 수치다. 모든 실제 서비스 트래픽이나 엔비디아의 현재·차세대 플랫폼을 포괄하는 독립적이고 보편적인 비교로 해석하기는 어렵다. 4 7

할라페뇨가 기록했다는 수치

오픈AI는 세 모델 전체에서 피크 처리량 기준 전력당 AI 작업량이 1.5~1.9배, 엔드투엔드 지연 시간은 1.7~3.6배 낮았다고 밝혔다. 사용자가 체감하는 상호작용 중심 작업에서는 성능 향상이 2.1~4.1배에 달했다고 설명했다. 3

모델별 주요 결과는 다음과 같다.

GPT‑OSS 120B 대 엔비디아 GB200: 할라페뇨의 피크 혼합 처리량은 킬로와트당 85,448 단위로, GB200의 44,960보다 높았다. 엔드투엔드 지연 시간은 1.03초로 GB200의 1.80초보다 짧았다. 최소 토큰 간격은 0.69밀리초로, 사용자당 약 1,459토큰/초에 해당한다. GB200은 535토큰/초였다. 4
DeepSeek R1 MXFP4 대 엔비디아 GB300: 할라페뇨는 킬로와트당 피크 혼합 처리량 19,641 단위를 기록해 GB300의 11,781보다 높았다고 보고됐다. 엔드투엔드 지연 시간은 1.65초로, GB300의 5.99초보다 짧았다. 최소 토큰 간격 기준 사용자당 생성 속도는 약 700토큰/초로, GB300의 169토큰/초와 비교됐다. 4 6
Kimi K2.5 MXFP4 대 엔비디아 GB300: 오픈AI는 피크 처리량의 전력 효율이 1.5배 높고, 엔드투엔드 지연 시간이 3.4배 낮았다고 밝혔다. 사용자당 생성 속도는 약 694토큰/초로, GB300의 182토큰/초보다 빠른 수치다. 4

‘사용자당 초당 토큰 수(tokens per second per user)’는 서버 전체가 동시에 처리할 수 있는 토큰량만 보는 지표가 아니다. 한 사용자의 요청에 생성된 토큰이 얼마나 빠르게 도착하는지를 보여주는 상호작용성 지표다. 따라서 챗봇 대화, 코딩 보조, 에이전트형 서비스처럼 응답 속도가 제품 경험에 직접 영향을 주는 작업에서 특히 중요하다.

왜 추론 전용 칩이 빠를 수 있나

할라페뇨는 학습과 추론을 모두 처리하도록 설계된 범용 GPU가 아니라, 대규모 언어 모델을 서비스하는 추론 작업에 초점을 맞춘 가속기다. 오픈AI가 아키텍처를 설계했고, 브로드컴이 실리콘 구현과 네트워킹을 맡았으며, 셀레스티카가 보드·랙·시스템 통합에 참여했다. 17 32

랙 단위 설계는 하나의 큰 연결 네트워크 영역 안에서 작업을 처리하는 것을 목표로 한다. 오픈AI는 KV 캐시를 포함한 모델 상태를 가능한 한 로컬에 배치하고 유지해 칩 사이의 데이터 이동과 통신 대기를 줄였다고 설명했다. 4 6

또한 프리필(prefill)과 디코드(decode)를 서로 고정된 자원 풀로 나누지 않는다. 오픈AI는 연산·메모리·네트워크 자원을 두 단계에서 유연하게 공유하는 구조라고 설명한다. 프리필은 입력 프롬프트를 처리하는 과정으로 상대적으로 연산 집약적이고, 디코드는 답변을 토큰 단위로 생성해 메모리 이동과 대역폭의 영향을 크게 받는다. 4 6

공개된 기술 정보는 아직 제한적이다. 한 기술 설명은 약 128개 칩으로 구성된 시스템이 약 1.7엑사플롭스의 연산 성능과 27TB의 HBM을 갖춘다고 언급하지만, 오픈AI의 벤치마크 발표만으로는 랙 전체의 부품 구성이나 모든 결과를 독립적으로 재현할 만한 세부 정보가 충분하지 않다. 4

설계부터 테이프아웃까지 9개월

오픈AI는 할라페뇨가 초기 설계에서 제조용 테이프아웃(tape-out)까지 9개월 만에 진행됐다고 밝혔다. 고성능 맞춤형 가속기 개발 기간으로는 이례적으로 짧은 일정이다. 17 21

회사에 따르면 오픈AI의 모델은 설계 탐색, 구현, 측정, 검증, 산술 회로 최적화, 프로그래밍에도 활용됐다. 오픈AI는 GPT‑Astra를 탑재한 코덱스(Codex)가 당초 계획에 없던 오픈 웨이트 모델 3개를 두 달 안에 높은 성능으로 구동하는 데 도움을 줬다고 설명했다. 또 GPT‑OSS의 일부 어텐션 및 혼합 전문가(MoE) 블록에서는 AI가 생성한 구현이 기존 사람이 작성한 구현보다 1.5~1.8배 빠른 성능을 냈다고 밝혔다. 다만 이 수치는 일부 블록에 해당하며, 전체 모델 서비스 성능을 뜻하지는 않는다. 4

벤치마크를 그대로 받아들이기 어려운 이유

할라페뇨의 성능 우위는 테스트 조건과 함께 봐야 한다.

학습용 GPU가 아닌 추론 전용 가속기

할라페뇨는 이미 학습된 모델을 서비스하는 용도다. 모델 학습용으로 설계되지 않았기 때문에 오픈AI는 학습과 일부 추론 인프라에 엔비디아, AMD 등 다른 가속기를 계속 사용할 것으로 예상된다. 4 6

즉 할라페뇨는 오픈AI 인프라 전체를 대체하는 GPU라기보다, 특정 추론 작업을 위한 전문 플랫폼에 가깝다.

비교한 작업 범위가 제한적

테스트에는 세미애널리시스(SemiAnalysis)의 공개 InferenceX 벤치마크가 사용됐다. 기본 조건은 단일 턴 요청, 입력 8,000토큰, 출력 1,000토큰이었다. 전체 요청 처리 과정을 측정하고 사용자 경험 조건을 맞춘 뒤, 공개된 칩 전력 정격을 기준으로 결과를 정규화했다. 4 7

세미애널리시스는 오픈AI 연구실에서 실행을 참관했지만 전체 벤치마크 제품군을 직접 수행한 것은 아니라고 밝혔다. 또한 이 설정은 긴 컨텍스트, 다중 턴 에이전트 작업, 라우팅, 프리픽스 캐싱, 캐시 관리, 오프로딩 동작을 시험하지 않는다. 이런 소프트웨어와 서비스 운영 방식은 실제 배포 성능을 크게 바꿀 수 있다. 6

전력 계산 방식도 결과에 영향을 준다

오픈AI는 할라페뇨의 패키지 전력을 700와트로 제시하면서, 테스트 작업에서 지속 측정 전력은 550와트 이하였다고 밝혔다. 반면 비교 대상인 GB200과 GB300에는 각각 1,200와트와 1,400와트의 모델링 전력이 사용됐다. 따라서 전력당 성능 격차는 작업 종류와 측정 지점, 전력 산정 방식에 일부 영향을 받는다. 4

엔비디아와의 비교는 특정 시점의 기록

이번 테스트는 당시 이용 가능한 GB200·GB300의 최고 성능 결과와 할라페뇨를 비교했다. 그러나 할라페뇨가 대규모로 배치될 시점에는 엔비디아의 더 새로운 시스템이 비교 대상으로 적합할 수 있다. 엔비디아는 DeepSeek R1의 GB300 성능을 MLPerf의 별도 오프라인 방식으로도 보고하고 있는데, 이는 할라페뇨의 상호작용형 사용자당 토큰 수치와 직접 비교할 수 없다. 1 2 4

2026년 말 내부 도입…외부 판매 계획은 없어

오픈AI는 2026년 말까지 자체 컴퓨팅 인프라에 할라페뇨를 제한적으로 도입하고, 2027년에는 관련 용량을 더 늘릴 계획이다. 회사는 2세대 칩이 개발 중이며, 3세대 개발도 시작 단계에 들어섰다고 밝혔다. 4 6

현재 할라페뇨는 외부 기업이 구매하거나 임대할 수 있는 제품이 아니다. 오픈AI 하드웨어 책임자 리처드 호는 내부 수요가 너무 커 외부 판매를 상정하기 어렵다고 말했다. 6

따라서 전략의 핵심은 엔비디아와 AMD를 당장 밀어내는 것이 아니라 이들의 가속기를 보완하는 데 있다. 오픈AI는 학습에 범용 가속기가 계속 필요하며, 향후 인프라도 여러 종류의 칩이 공존하는 형태가 될 것으로 보인다. 구글은 학습과 추론용 TPU를 개발하고 있고, 아마존과 마이크로소프트도 자체 AI 칩을 구축해 왔다. 앤트로픽 역시 맞춤형 실리콘 개발 노력을 설명한 바 있다. 6

결론: ‘엔비디아를 이겼다’보다 좁은 의미

할라페뇨의 초기 결과는 특정 LLM 추론 작업에 맞춘 전용 가속기가 대화형 서비스에서 중요한 세 가지 지표, 즉 전력 효율·전체 응답 시간·사용자당 토큰 생성 속도에서 범용 시스템보다 앞설 가능성을 보여준다.

그러나 현재 근거만으로 ‘오픈AI가 엔비디아를 이겼다’고 단정하기는 어렵다. 보고된 우위는 일부 모델과 특정 InferenceX 작업, 그리고 당시 비교 가능한 GB200·GB300 구성에 적용된다. 더 긴 컨텍스트와 에이전트 작업, 다양한 소프트웨어 스택, 학습과 인접한 작업, 오픈AI가 실제 배포를 확대할 시점의 최신 엔비디아 시스템에서 어떤 성능을 낼지는 아직 확인해야 한다.

Studio Global AI

연구를 계속하세요

이 페이지에는 Studio Global 내에서 계속할 수 있는 소스 기반 답변이 포함되어 있습니다.

Studio Global AI로 검색 및 팩트체크

사람들은 또한 묻습니다.