RespostasPublicado15 fontes
Chip Jalapeño da OpenAI supera sistemas Nvidia em eficiência e latência, segundo testes
A OpenAI afirma que o Jalapeño, seu primeiro acelerador personalizado desenvolvido com a Broadcom, superou sistemas Nvidia GB200 e GB300 nos testes de inferência divulgados. Nos três modelos avaliados, o chip apresentou de 1,5 a 1,9 vez mais trabalho de IA por watt e de 1,7 a 3,6 vezes menos latência de ponta a ponta.
Publicado porImagens geradas com GPT Image 1.5
Resposta de pesquisa
Principais conclusões
- A OpenAI afirma que o Jalapeño, seu primeiro acelerador personalizado desenvolvido com a Broadcom, superou sistemas Nvidia GB200 e GB300 nos testes de inferência divulgados.
- Nos três modelos avaliados, o chip apresentou de 1,5 a 1,9 vez mais trabalho de IA por watt e de 1,7 a 3,6 vezes menos latência de ponta a ponta.
- No teste com DeepSeek R1, a empresa registrou cerca de 700 tokens por segundo por usuário, contra 169 no sistema GB300 comparado.
- Os resultados são iniciais e foram divulgados pela própria OpenAI; não representam uma comparação independente de todos os cenários de produção.
Prompt de IA
openai.comCreate a landscape editorial hero image for this Studio Global article: What did OpenAI’s custom Jalapeño inference chip, co developed with Broadcom, demonstrate in its latest benchmarks against Nvidia’s GB200 an. Article summary: OpenAI says Jalapeño, its first Broadcom co developed custom accelerator, beats the compared Nvidia GB200/GB300 rack systems on the tested inference workloads in both energy efficiency and response speed.. Topic tags: general web, openai, llm, agents, ai. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fake numbers, clic
A OpenAI afirma que o Jalapeño, seu primeiro acelerador personalizado desenvolvido em parceria com a Broadcom, superou sistemas de rack equipados com Nvidia GB200 e GB300 nos testes de inferência divulgados recentemente. Segundo a empresa, o chip entregou mais trabalho de IA por watt e respostas mais rápidas nos modelos avaliados. Os resultados, porém, são iniciais e baseados em testes apresentados pela própria OpenAI — não uma medição independente e abrangente de todas as cargas de trabalho de IA em produção. 4
7
O que os benchmarks mostraram
Nos testes com GPT‑OSS 120B, DeepSeek R1 670B e Kimi K2.5 1T, a OpenAI reportou de 1,5 a 1,9 vez mais trabalho de IA por watt no pico de vazão e de 1,7 a 3,6 vezes menos latência de ponta a ponta em comparação com os sistemas Nvidia escolhidos. 4
No GPT‑OSS 120B, comparado ao GB200, o Jalapeño alcançou:
- 1,9 vez mais vazão mista de pico por quilowatt: 85.448 contra 44.960;
- latência de ponta a ponta 1,7 vez menor: 1,03 segundo contra 1,80 segundo;
- intervalo mínimo entre tokens de 0,69 milissegundo, equivalente a 1.459 tokens por segundo por usuário, contra 1,87 milissegundo ou 535 tokens por segundo por usuário no GB200.
4
No DeepSeek R1 em MXFP4, comparado ao GB300, a empresa informou:
- 1,7 vez mais vazão mista de pico por quilowatt: 19.641 contra 11.781;
- latência 3,6 vezes menor: 1,65 segundo contra 5,99 segundos;
- intervalo mínimo entre tokens de 1,43 milissegundo, ou cerca de 700 tokens por segundo por usuário, contra 169 no GB300.
No Kimi K2.5 em MXFP4, o Jalapeño teria apresentado 1,5 vez mais vazão de pico por quilowatt, latência de ponta a ponta 3,4 vezes menor e aproximadamente 694 tokens por segundo por usuário, contra 182 no GB300. 4
Na prática, esses números tentam medir dois aspectos diferentes de um sistema de IA: a quantidade de trabalho realizada com determinada quantidade de energia e a rapidez com que o usuário começa a receber a resposta.
Um chip projetado especificamente para inferência
O Jalapeño não é uma GPU de uso geral adaptada para IA. Trata-se de um acelerador concebido especificamente para inferência de grandes modelos de linguagem — a etapa em que um modelo já treinado gera respostas.
A OpenAI ficou responsável pelo projeto do acelerador; a Broadcom contribuiu com a implementação do silício e a conectividade de rede; e a Celestica participou da integração de placas, racks e sistemas. 1
O desenho divulgado opera em escala de rack, com uma grande rede conectada que permite manter uma carga de trabalho dentro de um único sistema. A arquitetura também mantém localmente o estado do modelo, incluindo o cache KV, com o objetivo de reduzir a movimentação de dados entre chips e as esperas causadas pela comunicação. 4
Outro ponto destacado pela OpenAI é que o sistema não separa o processamento inicial do prompt — conhecido como prefill — da geração autorregressiva de tokens, chamada de decode, em conjuntos independentes de recursos. A mesma capacidade de computação, memória e rede pode atender às duas fases. Isso é relevante porque o prefill tende a exigir mais computação, enquanto o decode depende fortemente da largura de banda da memória. 4
As especificações públicas do sistema ainda são limitadas. Um relatório técnico descreve uma configuração com 128 chips, aproximadamente 1,7 exaFLOPS e 27 TB de memória HBM, mas a publicação da OpenAI sobre os benchmarks não apresenta uma lista completa dos componentes do rack. 4
Desenvolvimento acelerado por modelos de IA
A OpenAI diz que levou o Jalapeño do projeto inicial à liberação para fabricação em nove meses, em um ciclo que considera excepcionalmente rápido para um ASIC avançado. 1
Segundo a empresa, seus próprios modelos ajudaram em tarefas como projeto, exploração de implementações, medições, verificação, otimização de circuitos aritméticos e programação. A OpenAI também afirma que o Codex com GPT‑Astra levou três modelos de código aberto que não estavam originalmente planejados a um alto nível de desempenho em dois meses.
Em blocos selecionados de atenção e de mistura de especialistas do GPT‑OSS, implementações geradas com auxílio de IA foram de 1,5 a 1,8 vez mais rápidas que versões anteriores escritas por humanos. Esses números se referem a blocos específicos, e não ao desempenho dos modelos completos. 4
Por que é preciso cautela ao interpretar os números
O benchmark utilizado foi o InferenceX, da SemiAnalysis, com cargas nominais de uma única rodada, entrada de 8 mil tokens e saída de 1 mil token. A medição considera o atendimento completo da solicitação, com os sistemas comparados em uma experiência de usuário equivalente e normalizados pelos valores publicados de consumo dos chips. 4
7
A OpenAI lista o Jalapeño com consumo de 700 W por encapsulamento, mas diz que a potência medida durante os testes ficou em 550 W ou menos. Para comparação, os GB200 e GB300 foram modelados com 1.200 W e 1.400 W, respectivamente. Portanto, a vantagem por watt depende tanto da carga de trabalho quanto das escolhas de contabilização de energia. 4
A SemiAnalysis afirma ter acompanhado os testes no laboratório da OpenAI, mas não executado por conta própria toda a suíte de benchmarks. A organização também alerta que o cenário de rodada única com entrada de 8 mil e saída de 1 mil tokens não avalia contextos mais longos, agentes em múltiplas rodadas, roteamento, cache de prefixos, gerenciamento de cache ou descarregamento de dados — fatores que podem alterar significativamente o desempenho em produção. 4
Há ainda uma limitação temporal. GB200 e GB300 são sistemas comerciais da geração Blackwell, e plataformas Nvidia mais novas podem ser comparações mais adequadas quando o Jalapeño chegar a uma implantação maior. A Nvidia, por sua vez, divulga resultados do GB300 com DeepSeek R1 usando a metodologia offline do MLPerf. Esses números não devem ser comparados diretamente com as métricas interativas de tokens por usuário apresentadas para o Jalapeño. 2
4
Quando o Jalapeño será usado — e o que ele muda na estratégia da OpenAI
A OpenAI planeja uma implantação limitada de sistemas baseados no Jalapeño em sua própria infraestrutura de computação até o fim de 2026, seguida por uma expansão de capacidade em 2027. A segunda geração está em desenvolvimento avançado, enquanto a terceira começa a tomar forma. 4
6
A empresa não pretende vender o chip para clientes externos. Richard Ho, vice-presidente de hardware da OpenAI, disse que a demanda interna é alta demais para que a companhia cogite vendas externas neste momento. 6
Isso significa que o Jalapeño deve complementar, e não substituir, os aceleradores da Nvidia, da AMD e de outros parceiros. Como o chip foi projetado para inferência e não resolve a etapa de treinamento, a OpenAI continuará dependendo de uma combinação de fornecedores para suas necessidades de computação. 4
6
No setor, Google já possui TPUs para treinamento e inferência, enquanto Amazon e Microsoft desenvolvem chips próprios. A Anthropic também afirmou estar criando uma iniciativa interna de projeto de chips. O Jalapeño coloca a OpenAI nessa disputa por maior integração vertical entre modelos, software e hardware, mas sua atual alegação de vantagem permanece restrita à inferência de modelos de linguagem nos cenários de benchmark divulgados. 6
Studio Global AI
Continue sua pesquisa
Esta página inclui uma resposta baseada na fonte que você pode continuar em Studio Global.
As pessoas também perguntam
Qual é a resposta curta para "Chip Jalapeño da OpenAI supera sistemas Nvidia em eficiência e latência, segundo testes"?
A OpenAI afirma que o Jalapeño, seu primeiro acelerador personalizado desenvolvido com a Broadcom, superou sistemas Nvidia GB200 e GB300 nos testes de inferência divulgados.
Quais são os pontos-chave para validar primeiro?
A OpenAI afirma que o Jalapeño, seu primeiro acelerador personalizado desenvolvido com a Broadcom, superou sistemas Nvidia GB200 e GB300 nos testes de inferência divulgados. Nos três modelos avaliados, o chip apresentou de 1,5 a 1,9 vez mais trabalho de IA por watt e de 1,7 a 3,6 vezes menos latência de ponta a ponta.
O que devo fazer a seguir na prática?
No teste com DeepSeek R1, a empresa registrou cerca de 700 tokens por segundo por usuário, contra 169 no sistema GB300 comparado.
Fontes
theverge.comOpenAI says its Jalapeño chip can power faster AI responses than the competition
rits.shanghai.nyu.eduOpenAI and Broadcom Unveil Jalapeño, a Custom LLM Inference ...
developer.nvidia.comAI Inference Performance Benchmarks - NVIDIA Developer