RespuestasPublicado15 fuentes
Jalapeño frente a Nvidia: qué demuestran las primeras pruebas del chip de OpenAI
OpenAI afirma que Jalapeño ofreció entre 1,5 y 1,9 veces más trabajo de IA por vatio y entre 1,7 y 3,6 veces menos latencia de extremo a extremo que los sistemas Nvidia comparados. En DeepSeek R1, la compañía registró unos 700 tokens por segundo por usuario, frente a 169 en el sistema GB300 de referencia.
Publicado porImágenes generadas con GPT Image 1.5
Respuesta de investigación
Conclusiones clave
- OpenAI afirma que Jalapeño ofreció entre 1,5 y 1,9 veces más trabajo de IA por vatio y entre 1,7 y 3,6 veces menos latencia de extremo a extremo que los sistemas Nvidia comparados.
- En DeepSeek R1, la compañía registró unos 700 tokens por segundo por usuario, frente a 169 en el sistema GB300 de referencia.
- Jalapeño es un acelerador especializado en inferencia de modelos de lenguaje, no un chip destinado al entrenamiento.
- Las pruebas se realizaron con InferenceX, en cargas de una sola interacción con entradas de 8.000 tokens y salidas de 1.000; no cubren todos los escenarios de producción.
Prompt de IA
openai.comCreate a landscape editorial hero image for this Studio Global article: What did OpenAI’s custom Jalapeño inference chip, co developed with Broadcom, demonstrate in its latest benchmarks against Nvidia’s GB200 an. Article summary: OpenAI says Jalapeño, its first Broadcom co developed custom accelerator, beats the compared Nvidia GB200/GB300 rack systems on the tested inference workloads in both energy efficiency and response speed.. Topic tags: general web, openai, llm, agents, ai. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fake numbers, clic
OpenAI asegura que Jalapeño, el primer acelerador personalizado desarrollado junto con Broadcom, supera a los sistemas Nvidia GB200 y GB300 de referencia en las cargas de inferencia evaluadas, tanto en eficiencia energética como en velocidad de respuesta. Sin embargo, se trata de resultados comunicados por la propia empresa y obtenidos en una configuración concreta: no son todavía una comparación independiente y universal de todas las cargas de trabajo de IA en producción. 4
7
Qué dicen las pruebas
En los modelos GPT‑OSS 120B, DeepSeek R1 670B y Kimi K2.5 1T, OpenAI reportó entre 1,5 y 1,9 veces más trabajo de IA por vatio al alcanzar el rendimiento máximo. También afirmó haber conseguido entre 1,7 y 3,6 veces menos latencia de extremo a extremo que los sistemas de comparación. 4
La métrica de latencia de extremo a extremo mide el tiempo total de atención a una solicitud, no solo la velocidad de cálculo del chip. Para una aplicación conversacional, puede reflejar mejor la rapidez percibida por el usuario.
GPT‑OSS 120B frente a GB200
En la prueba con GPT‑OSS 120B, OpenAI comparó Jalapeño con un sistema GB200 y comunicó los siguientes resultados: 4
- Trabajo mixto máximo por kilovatio: 85.448 frente a 44.960, una ventaja de 1,9 veces para Jalapeño.
- Latencia de extremo a extremo: 1,03 segundos frente a 1,80 segundos, o 1,7 veces menos.
- Tiempo mínimo entre tokens: 0,69 milisegundos, equivalente a unos 1.459 tokens por segundo por usuario, frente a 1,87 milisegundos y 535 tokens por segundo por usuario en GB200.
El tiempo entre tokens es especialmente relevante en interfaces interactivas: indica cuánto tarda el sistema en producir cada fragmento adicional de la respuesta después de comenzar a contestar.
DeepSeek R1 frente a GB300
En DeepSeek R1 con formato numérico MXFP4, OpenAI comparó Jalapeño con GB300 y señaló: 4
- Trabajo mixto máximo por kilovatio: 19.641 frente a 11.781, una mejora de 1,7 veces.
- Latencia de extremo a extremo: 1,65 segundos frente a 5,99 segundos, una reducción de 3,6 veces.
- Tiempo mínimo entre tokens: 1,43 milisegundos, que equivale aproximadamente a 700 tokens por segundo por usuario, frente a 169 en GB300.
Kimi K2.5 frente a GB300
Para Kimi K2.5 en MXFP4, el chip de OpenAI registró 1,5 veces más rendimiento máximo por kilovatio y 3,4 veces menos latencia de extremo a extremo. En el escenario de menor tiempo entre tokens, la compañía indicó unos 694 tokens por segundo por usuario, frente a 182 en GB300. 4
Un chip diseñado para inferencia, no para entrenamiento
A diferencia de una GPU de propósito general adaptada para ejecutar modelos, Jalapeño fue concebido específicamente para la inferencia: la fase en la que un modelo ya entrenado procesa una petición y genera una respuesta. OpenAI aportó el diseño del acelerador; Broadcom, la implementación del silicio y la conectividad de red; y Celestica, la integración de placas, racks y sistemas. 1
El diseño a escala de rack utiliza un gran dominio de red conectado para que las cargas puedan permanecer dentro de un mismo sistema. También busca mantener localmente el estado del modelo, incluido el caché KV —la memoria temporal que conserva información útil de una conversación—, con el objetivo de reducir los movimientos de datos entre chips y las esperas de comunicación. 4
OpenAI afirma además que no separa de forma rígida los recursos para el prefill y el decode. El primero procesa el prompt inicial y suele exigir más capacidad de cálculo; el segundo genera los tokens uno a uno y depende especialmente del ancho de banda de memoria. Según la compañía, los mismos recursos de cálculo, memoria y red pueden atender ambas fases.
La información pública disponible todavía no ofrece una lista completa de componentes del rack. Un informe técnico describe un sistema de 128 chips con aproximadamente 1,7 exaFLOPS y 27 terabytes de memoria HBM, pero la publicación de OpenAI sobre las pruebas no detalla toda la configuración. 4
OpenAI dice que lo desarrolló en nueve meses
La empresa asegura que pasó del diseño inicial a la entrega del diseño para fabricación —el proceso conocido en la industria como tape-out— en nueve meses, un ciclo que presenta como excepcionalmente rápido para un ASIC avanzado. 1
OpenAI también afirma que utilizó sus propios modelos para ayudar en el diseño, la exploración de implementaciones, las mediciones, la verificación, la optimización de circuitos aritméticos y la programación. Según la compañía, Codex con GPT‑Astra permitió llevar tres modelos de pesos abiertos que no estaban inicialmente previstos a un alto rendimiento en dos meses. En determinados bloques de atención y de mezcla de expertos de GPT‑OSS, las implementaciones generadas con IA fueron entre 1,5 y 1,8 veces más rápidas que las versiones escritas previamente por ingenieros. Esas cifras corresponden a bloques concretos, no al rendimiento de los modelos completos. 4
Qué límites tienen los resultados
Las cifras deben leerse con cierta cautela por varias razones:
- Jalapeño está pensado para inferencia, no para entrenamiento. OpenAI seguirá necesitando aceleradores de Nvidia, AMD y otros proveedores para entrenar modelos y también para cubrir parte de su capacidad de inferencia.
6
- Las pruebas utilizaron InferenceX, una suite pública de SemiAnalysis, con solicitudes de una sola interacción, una entrada nominal de 8.000 tokens y una salida de 1.000 tokens. El análisis midió el servicio completo de la petición y normalizó los resultados usando las potencias publicadas de los chips.
4
7
- OpenAI sitúa el consumo de la cápsula de Jalapeño en 700 vatios, aunque afirma que la potencia medida de forma sostenida fue de 550 vatios o menos en estas cargas. Para la comparación, modeló GB200 con 1.200 vatios y GB300 con 1.400 vatios. Por tanto, la ventaja por vatio depende en parte de la carga elegida y de cómo se contabiliza la energía.
- SemiAnalysis afirma que presenció ejecuciones en el laboratorio de OpenAI, pero no ejecutó por sí misma toda la suite de pruebas. También advierte que el escenario de InferenceX con una sola interacción no evalúa contextos más largos, agentes con múltiples turnos, enrutamiento, reutilización de prefijos, gestión de caché ni descarga de trabajo a otros componentes. Todos ellos pueden cambiar el rendimiento en producción.
- La comparación está condicionada por el momento en que se hizo. GB200 y GB300 pertenecen a la generación Blackwell de Nvidia, y futuras plataformas podrían ser rivales más adecuados cuando Jalapeño se despliegue a mayor escala. Nvidia, por separado, publica cifras de rendimiento de GB300 con DeepSeek R1 mediante la metodología offline de MLPerf; esos resultados no deben compararse directamente con las cifras interactivas de tokens por usuario de Jalapeño.
2
Un paso hacia una infraestructura más integrada
OpenAI prevé desplegar una cantidad limitada de sistemas basados en Jalapeño en su propia infraestructura a finales de 2026 y ampliar la capacidad en 2027. La segunda generación se encuentra, según la compañía, en una fase avanzada de desarrollo, mientras que una tercera empieza a tomar forma. 4
6
Por ahora, OpenAI no planea vender el chip externamente. Richard Ho, vicepresidente de hardware de la empresa, afirmó que la demanda interna es demasiado alta como para contemplar ventas a clientes externos. 6
La estrategia no implica abandonar a Nvidia o AMD. Jalapeño está orientado a complementar los aceleradores de esos proveedores, sobre todo porque no resuelve la necesidad de hardware para entrenar modelos. Google ya utiliza sus TPU tanto para entrenamiento como para inferencia; Amazon y Microsoft desarrollan chips propios; y Anthropic también ha anunciado esfuerzos de diseño interno. Jalapeño sitúa a OpenAI en esa misma carrera por controlar más partes de la infraestructura, aunque su actual ventaja está limitada a la inferencia de modelos de lenguaje en las configuraciones publicadas. 4
6
Studio Global AI
Continúe su investigación
Esta página incluye una respuesta respaldada por fuentes que puede continuar dentro de Studio Global.
La gente también pregunta
¿Cuál es la respuesta corta a "Jalapeño frente a Nvidia: qué demuestran las primeras pruebas del chip de OpenAI"?
OpenAI afirma que Jalapeño ofreció entre 1,5 y 1,9 veces más trabajo de IA por vatio y entre 1,7 y 3,6 veces menos latencia de extremo a extremo que los sistemas Nvidia comparados.
¿Cuáles son los puntos clave a validar primero?
OpenAI afirma que Jalapeño ofreció entre 1,5 y 1,9 veces más trabajo de IA por vatio y entre 1,7 y 3,6 veces menos latencia de extremo a extremo que los sistemas Nvidia comparados. En DeepSeek R1, la compañía registró unos 700 tokens por segundo por usuario, frente a 169 en el sistema GB300 de referencia.
¿Qué debo hacer a continuación en la práctica?
Jalapeño es un acelerador especializado en inferencia de modelos de lenguaje, no un chip destinado al entrenamiento.
Fuentes
rits.shanghai.nyu.eduOpenAI and Broadcom Unveil Jalapeño, a Custom LLM Inference ...