답변게시됨15 소스
오픈AI 자체 추론 칩 ‘할라페뇨’, 엔비디아 GB200·GB300과의 벤치마크에서 무엇을 보여줬나
오픈AI는 브로드컴과 공동 개발한 첫 맞춤형 추론 가속기 ‘할라페뇨’가 비교 대상인 엔비디아 GB200·GB300 시스템보다 테스트한 추론 작업에서 전력 효율과 응답 속도가 모두 높았다고 밝혔다. GPT OSS 120B, DeepSeek R1 670B, Kimi K2.5 1T에서 할라페뇨는 피크 처리량 기준 와트당 AI 작업량이 1.5 1.9배 높고, 엔드투엔드 지연 시간은 1.7 3.6배 낮았다고 보고됐다.
게시자GPT Image 1.5로 이미지 생성
연구 답변
주요 시사점
- 오픈AI는 브로드컴과 공동 개발한 첫 맞춤형 추론 가속기 ‘할라페뇨’가 비교 대상인 엔비디아 GB200·GB300 시스템보다 테스트한 추론 작업에서 전력 효율과 응답 속도가 모두 높았다고 밝혔다.
- GPT OSS 120B, DeepSeek R1 670B, Kimi K2.5 1T에서 할라페뇨는 피크 처리량 기준 와트당 AI 작업량이 1.5 1.9배 높고, 엔드투엔드 지연 시간은 1.7 3.6배 낮았다고 보고됐다.
- GPT OSS 120B 테스트에서는 GB200 대비 사용자당 초당 최대 1,459토큰, DeepSeek R1에서는 GB300 대비 약 700토큰을 기록했다고 오픈AI가 발표했다.
- 할라페뇨는 학습용 GPU가 아니라 대규모언어모델(LLM) 추론에 특화된 칩이다. 오픈AI는 2026년 말 제한적 자체 배치를 시작하고 2027년 더 큰 규모로 확대할 계획이다.
AI 프롬프트
openai.comCreate a landscape editorial hero image for this Studio Global article: What did OpenAI’s custom Jalapeño inference chip, co developed with Broadcom, demonstrate in its latest benchmarks against Nvidia’s GB200 an. Article summary: OpenAI says Jalapeño, its first Broadcom co developed custom accelerator, beats the compared Nvidia GB200/GB300 rack systems on the tested inference workloads in both energy efficiency and response speed.. Topic tags: general web, openai, llm, agents, ai. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fake numbers, clic
오픈AI는 브로드컴과 공동 개발한 자체 LLM 추론 가속기 ‘할라페뇨(Jalapeño)’가 엔비디아의 GB200·GB300 랙 시스템보다 전력 효율과 응답 속도에서 앞섰다고 발표했다. 비교 대상은 GPT-OSS 120B, DeepSeek R1 670B, Kimi K2.5 1T를 실행한 시스템이다. 4
7
다만 이는 모든 AI 서비스의 성능을 측정한 독립적인 일대일 평가가 아니다. SemiAnalysis의 공개 InferenceX 벤치마크에서 특정 입력·출력 길이와 전력 산정 기준을 적용한 초기 결과라는 점을 먼저 봐야 한다.
핵심 수치: 와트당 작업량과 응답 속도
오픈AI에 따르면 세 모델 모두에서 할라페뇨는 비교 시스템보다 피크 처리량 기준 와트당 AI 작업량이 1.51.9배 많았고, 엔드투엔드 지연 시간은 1.73.6배 낮았다. 대화형 서비스에서 중요한 ‘사용자당 초당 토큰 수’ 기준으로는 2.1~4.1배 높은 성능을 보였다고 회사는 설명했다. 4
- GPT-OSS 120B 대 GB200: 피크 혼합 처리량은 kW당 8만5,448로, GB200의 4만4,960보다 1.9배 높았다. 전체 요청 지연 시간은 1.03초로 GB200의 1.80초보다 1.7배 낮았다. 토큰 사이 최소 간격은 0.69ms, 즉 사용자당 초당 약 1,459토큰으로 측정됐으며 GB200은 1.87ms, 약 535토큰이었다.
4
- DeepSeek R1 MXFP4 대 GB300: 피크 혼합 처리량은 kW당 1만9,641로 GB300의 1만1,781보다 1.7배 높았다. 엔드투엔드 지연 시간은 1.65초로 GB300의 5.99초보다 3.6배 낮았다. 토큰 사이 최소 간격은 1.43ms였고, 사용자당 처리량은 약 700토큰으로 GB300의 169토큰보다 높았다.
- Kimi K2.5 MXFP4 대 GB300: kW당 피크 처리량은 1.5배 높고 엔드투엔드 지연 시간은 3.4배 낮았다. 최소 토큰 간격 기준 사용자당 처리량은 약 694토큰으로, GB300의 182토큰과 비교됐다.
여기서 ‘토큰’은 모델이 답변을 생성할 때 내놓는 텍스트 단위다. 토큰 사이 간격이 짧고 사용자당 초당 토큰 수가 높을수록 사용자는 답변이 더 빠르게 이어진다고 느낄 수 있다.
GPU가 아니라 추론에 맞춘 전용 가속기
할라페뇨는 범용 GPU를 LLM 작업에 맞게 조정한 제품이 아니라, 처음부터 LLM 추론을 겨냥해 설계한 가속기다. 오픈AI가 가속기 설계를 맡았고, 브로드컴은 실리콘 구현과 네트워킹을, 셀레스티카는 보드·랙·시스템 통합을 담당했다. 1
공개된 랙 설계는 여러 칩이 연결된 하나의 큰 네트워크 영역을 활용해 작업을 한 시스템 안에 유지하는 데 초점을 둔다. 모델 상태와 KV 캐시도 가능한 한 로컬에 배치·유지해 칩 사이의 데이터 이동과 통신으로 인한 대기 시간을 줄이는 방식이다. 4
또한 프리필(prefill)과 디코드(decode)를 서로 다른 자원 풀로 분리하지 않는다. 같은 컴퓨팅·메모리·네트워크 자원이 두 단계 모두를 처리하도록 설계됐다. 프리필은 입력 프롬프트를 처리하는 단계라 계산량이 크고, 디코드는 토큰을 하나씩 생성하는 단계라 메모리 대역폭의 영향을 크게 받는다는 점이 설계의 배경이다. 4
공개 자료만으로는 전체 랙 구성과 부품 목록이 모두 확인되지는 않는다. 한 기술 보고서는 128개 칩으로 구성된 시스템이 약 1.7엑사플롭스와 27TB의 HBM을 제공한다고 설명했지만, 오픈AI의 벤치마크 게시물 자체가 완전한 시스템 사양을 공개한 것은 아니다. 4
9개월 만에 테이프아웃…AI가 칩 설계도 도왔다
오픈AI는 초기 설계부터 제조용 테이프아웃까지 9개월 만에 진행했다고 밝혔다. 고성능 ASIC 업계에서도 이례적으로 빠른 개발 주기라는 설명이다. 1
개발 과정에는 오픈AI의 모델이 설계, 구현 탐색, 측정, 검증, 산술 회로 최적화, 프로그래밍을 지원했다. 오픈AI는 GPT-Astra를 활용한 Codex가 당초 계획에 없던 오픈 웨이트 모델 3개를 두 달 안에 높은 성능으로 구동했다고 밝혔다. GPT-OSS의 어텐션 및 전문가 혼합(MoE) 블록 일부에서는 AI가 생성한 구현이 기존 사람이 작성한 구현보다 1.5~1.8배 빨랐다는 수치도 공개했다. 다만 이는 개별 블록의 결과이지 전체 모델 성능을 뜻하지 않는다. 4
벤치마크를 그대로 일반화하기 어려운 이유
이번 측정은 SemiAnalysis의 공개 InferenceX 제품군을 사용했다. 명목상 단일 턴 대화에서 입력 8,000토큰과 출력 1,000토큰을 처리하고, 요청을 받는 순간부터 응답을 완료할 때까지의 전체 서비스를 측정하는 방식이다. 시스템은 비슷한 사용자 경험을 맞춘 뒤 공개된 칩 전력 정격을 기준으로 정규화했다. 4
7
전력 수치도 결과에 영향을 줄 수 있다. 오픈AI는 할라페뇨의 패키지 전력을 700W로 제시하면서, 이번 작업에서 지속적으로 측정된 전력은 550W 이하였다고 밝혔다. 비교 대상인 GB200과 GB300은 각각 1,200W와 1,400W로 모델링됐다. 따라서 와트당 우위는 실제 작업량뿐 아니라 어떤 전력을 포함하고 어떻게 계산했는지에 따라서도 달라질 수 있다. 4
SemiAnalysis는 오픈AI 연구실에서 실행 과정을 참관했지만 전체 벤치마크 제품군을 직접 수행한 것은 아니라고 설명했다. 또 이번 단일 턴 8k/1k 설정은 긴 컨텍스트, 다중 턴 에이전트 작업, 요청 라우팅, 프리픽스 캐싱, 캐시 관리, 오프로드 동작을 검증하지 않는다. 이런 요소는 실제 서비스 성능에 상당한 영향을 줄 수 있다. 4
엔비디아와의 비교도 시점과 측정 방법을 함께 봐야 한다. 이번 비교는 상용 블랙웰 세대의 GB200·GB300 시스템을 대상으로 했지만, 할라페뇨가 본격 배치될 때는 더 새로운 엔비디아 플랫폼이 경쟁 제품이 될 수 있다. 엔비디아가 공개한 GB300의 DeepSeek R1 결과는 MLPerf의 오프라인 측정 방식에 따른 수치이므로, 할라페뇨의 대화형 사용자당 토큰 처리량과 직접 비교해서는 안 된다. 2
4
오픈AI는 판매하지 않고 자체 인프라에 우선 투입
오픈AI는 2026년 말 자체 컴퓨팅 인프라에 할라페뇨 기반 시스템을 제한적으로 배치한 뒤 2027년 처리 용량을 늘릴 계획이다. 2세대 제품은 개발이 상당히 진행됐고, 3세대도 초기 구상에 들어갔다고 밝혔다. 4
6
외부 판매 계획은 없다. 오픈AI 하드웨어 담당 부사장 리처드 호는 내부 수요가 너무 커 외부 판매를 고려하기 어렵다고 말했다. 6
따라서 할라페뇨는 엔비디아와 AMD를 대체하기보다 오픈AI의 AI 인프라를 보완하는 전략에 가깝다. 이 칩은 학습용이 아니므로 오픈AI는 앞으로도 학습과 일부 추론에 엔비디아, AMD 및 다른 파트너의 가속기를 계속 사용할 예정이다. 4
6
구글은 이미 학습과 추론에 TPU를 사용하고 있으며, 아마존과 마이크로소프트도 자체 AI 칩을 개발하고 있다. 앤스로픽 역시 자체 칩 설계 역량을 구축하고 있다고 밝힌 바 있다. 할라페뇨는 오픈AI를 이 같은 수직 통합 경쟁에 합류시키지만, 현재 공개된 우위 주장은 어디까지나 특정 벤치마크 구성에서의 LLM 추론 성능에 한정된다. 6
Studio Global AI
연구를 계속하세요
이 페이지에는 Studio Global 내에서 계속할 수 있는 소스 기반 답변이 포함되어 있습니다.
사람들은 또한 묻습니다.
"오픈AI 자체 추론 칩 ‘할라페뇨’, 엔비디아 GB200·GB300과의 벤치마크에서 무엇을 보여줬나"에 대한 짧은 대답은 무엇입니까?
오픈AI는 브로드컴과 공동 개발한 첫 맞춤형 추론 가속기 ‘할라페뇨’가 비교 대상인 엔비디아 GB200·GB300 시스템보다 테스트한 추론 작업에서 전력 효율과 응답 속도가 모두 높았다고 밝혔다.
먼저 검증할 핵심 포인트는 무엇인가요?
오픈AI는 브로드컴과 공동 개발한 첫 맞춤형 추론 가속기 ‘할라페뇨’가 비교 대상인 엔비디아 GB200·GB300 시스템보다 테스트한 추론 작업에서 전력 효율과 응답 속도가 모두 높았다고 밝혔다. GPT OSS 120B, DeepSeek R1 670B, Kimi K2.5 1T에서 할라페뇨는 피크 처리량 기준 와트당 AI 작업량이 1.5 1.9배 높고, 엔드투엔드 지연 시간은 1.7 3.6배 낮았다고 보고됐다.
실무에서는 다음으로 무엇을 해야 합니까?
GPT OSS 120B 테스트에서는 GB200 대비 사용자당 초당 최대 1,459토큰, DeepSeek R1에서는 GB300 대비 약 700토큰을 기록했다고 오픈AI가 발표했다.
출처
theverge.comOpenAI says its Jalapeño chip can power faster AI responses than the competition
rits.shanghai.nyu.eduOpenAI and Broadcom Unveil Jalapeño, a Custom LLM Inference ...
developer.nvidia.comAI Inference Performance Benchmarks - NVIDIA Developer