คำตอบเผยแพร่แล้ว19 แหล่งที่มา
Jalapeño ของ OpenAI เร็วและประหยัดพลังงานกว่า Nvidia จริงหรือ?
OpenAI ระบุว่า Jalapeño ทำงาน AI ต่อวัตต์ได้มากกว่า 1.5–1.9 เท่า และมีความหน่วงตั้งแต่ต้นจนจบต่ำลง 1.7–3.6 เท่า เมื่อเทียบกับระบบ Nvidia GB200 และ GB300 ในการทดสอบ InferenceX สำหรับ DeepSeek R1 OpenAI รายงานความเร็วประมาณ 700 โทเค็นต่อวินาทีต่อผู้ใช้บน Jalapeño เทียบกับ 169 โทเค็นต่อวินาทีต่อผู้ใช้บน GB300 ที่ช่วงเว...
เผยแพร่โดยแก้ไขด้วย GPT-5.6 Lunaรูปภาพสร้างด้วย GPT Image 1.5
คำตอบการวิจัย
ประเด็นสำคัญ
- OpenAI ระบุว่า Jalapeño ทำงาน AI ต่อวัตต์ได้มากกว่า 1.5–1.9 เท่า และมีความหน่วงตั้งแต่ต้นจนจบต่ำลง 1.7–3.6 เท่า เมื่อเทียบกับระบบ Nvidia GB200 และ GB300 ในการทดสอบ InferenceX
- สำหรับ DeepSeek R1 OpenAI รายงานความเร็วประมาณ 700 โทเค็นต่อวินาทีต่อผู้ใช้บน Jalapeño เทียบกับ 169 โทเค็นต่อวินาทีต่อผู้ใช้บน GB300 ที่ช่วงเวลาระหว่างโทเค็นต่ำสุด
- Jalapeño ออกแบบมาเพื่อการประมวลผลโมเดลที่ผ่านการฝึกแล้ว ไม่ใช่การฝึกโมเดล และ OpenAI วางแผนติดตั้งใช้งานภายในแบบจำกัดภายในสิ้นปี 2026 แทนการจำหน่ายให้บุคคลภายนอก
AI พรอมต์
openai.comCreate a landscape editorial hero image for this Studio Global article: What did OpenAI’s custom Jalapeño inference chip, co-developed with Broadcom, demonstrate in its latest benchmarks against Nvidia’s GB200 an. Article summary: OpenAI says Jalapeño, its first Broadcom co-developed custom accelerator, beats the compared Nvidia GB200/GB300 rack systems on the tested inference workloads in both energy efficiency and response speed. These are early. Topic tags: general, documentation, general web, education, user generated. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text,
OpenAI เปิดเผยผลทดสอบเบื้องต้นของ Jalapeño แอ็กเซลเลอเรเตอร์ที่บริษัทพัฒนาขึ้นเองเป็นครั้งแรก โดยระบุว่าสามารถทำงาน AI ต่อหน่วยพลังงานได้มากกว่า มีความหน่วงตั้งแต่ต้นจนจบต่ำกว่า และส่งโทเค็นให้ผู้ใช้แบบโต้ตอบได้เร็วกว่า เมื่อเทียบกับระบบ Nvidia GB200 และ GB300 ที่ใช้เป็นจุดอ้างอิง
OpenAI ระบุว่าผลลัพธ์ดังกล่าวพบในโมเดล GPT‑OSS 120B, DeepSeek R1 และ Kimi K2.5 1T 3
4
อย่างไรก็ตาม ข้อสรุปนี้ควรอ่านอย่างมีเงื่อนไข เพราะเป็นผลทดสอบระยะแรกที่บริษัทเป็นผู้รายงานเอง ภายใต้การตั้งค่าของ InferenceX ที่กำหนดไว้ ไม่ใช่การเปรียบเทียบแบบอิสระ ครอบคลุมงาน AI สำหรับการผลิตทุกประเภท หรือแพลตฟอร์ม Nvidia ทั้งในปัจจุบันและอนาคต 4
7
Jalapeño ทำคะแนนได้เท่าไรในการทดสอบ
จากโมเดลทั้งสาม OpenAI รายงานว่า Jalapeño ทำงาน AI ต่อวัตต์ที่ระดับ throughput สูงสุดได้มากกว่า 1.5–1.9 เท่า และมีความหน่วงตั้งแต่ต้นจนจบต่ำลง 1.7–3.6 เท่า เมื่อเทียบกับระบบที่นำมาเปรียบเทียบ ส่วนงานที่เน้นการโต้ตอบอย่างรวดเร็ว บริษัทระบุว่ามีประสิทธิภาพสูงขึ้น 2.1–4.1 เท่า 3
ผลลัพธ์รายโมเดลที่เด่นชัดมีดังนี้
GPT‑OSS 120B เทียบกับ Nvidia GB200: Jalapeño ทำได้ 85,448 หน่วย throughput แบบผสมสูงสุดต่อกิโลวัตต์ เทียบกับ 44,960 สำหรับ GB200 ขณะที่ความหน่วงตั้งแต่ต้นจนจบอยู่ที่ 1.03 วินาที เทียบกับ 1.80 วินาที นอกจากนี้ยังมีเวลาขั้นต่ำระหว่างโทเค็น 0.69 มิลลิวินาที หรือประมาณ 1,459 โทเค็นต่อวินาทีต่อผู้ใช้ เทียบกับ 535 บน GB200
4
DeepSeek R1 MXFP4 เทียบกับ Nvidia GB300: Jalapeño ทำได้ 19,641 หน่วย throughput แบบผสมสูงสุดต่อกิโลวัตต์ เทียบกับ 11,781 สำหรับ GB300 ความหน่วงตั้งแต่ต้นจนจบอยู่ที่ 1.65 วินาที เทียบกับ 5.99 วินาที และที่เวลาขั้นต่ำระหว่างโทเค็น OpenAI รายงานความเร็วประมาณ 700 โทเค็นต่อวินาทีต่อผู้ใช้ เทียบกับ 169 บน GB300
6
Kimi K2.5 MXFP4 เทียบกับ Nvidia GB300: OpenAI รายงานว่า Jalapeño มี throughput สูงสุดต่อกิโลวัตต์มากกว่า 1.5 เท่า มีความหน่วงตั้งแต่ต้นจนจบต่ำลง 3.4 เท่า และทำได้ประมาณ 694 โทเค็นต่อวินาทีต่อผู้ใช้ เทียบกับ 182 บน GB300
คำว่า “โทเค็นต่อวินาทีต่อผู้ใช้” เป็นตัวชี้วัดความลื่นไหลในการโต้ตอบ โดยบอกว่าคำขอของผู้ใช้หนึ่งรายได้รับโทเค็นที่สร้างขึ้นเร็วเพียงใด ไม่ได้วัดเพียงจำนวนโทเค็นรวมที่ระบบทั้งแร็กผลิตได้เมื่อรับคำขอพร้อมกันจำนวนมาก ความแตกต่างนี้สำคัญกับแชต การเขียนโค้ด และแอปพลิเคชันแบบเอเจนต์ ซึ่งความรู้สึกว่า AI ตอบสนองเร็วเป็นส่วนหนึ่งของประสบการณ์ใช้งาน
เหตุใดชิปเฉพาะทางจึงอาจเร็วกว่า GPU ทั่วไป
Jalapeño เป็นแอ็กเซลเลอเรเตอร์ที่ออกแบบมาโดยเฉพาะสำหรับการประมวลผลโมเดลภาษาขนาดใหญ่ หรือ LLM inference แทนที่จะเป็น GPU อเนกประสงค์ที่นำมาปรับใช้กับทั้งงานฝึกโมเดลและงานให้บริการคำตอบ OpenAI ออกแบบสถาปัตยกรรม, Broadcom รับผิดชอบการทำซิลิคอนและเครือข่าย ส่วน Celestica ช่วยด้านบอร์ด แร็ก และการรวมระบบ 17
32
การออกแบบระดับแร็กของระบบใช้โดเมนเครือข่ายขนาดใหญ่ที่เชื่อมต่อถึงกัน เพื่อให้ภาระงานอยู่ภายในระบบเดียวได้มากที่สุด OpenAI ระบุว่าระบบพยายามวางและเก็บสถานะของโมเดล รวมถึง KV cache ไว้ภายในเครื่อง ลดการเคลื่อนย้ายข้อมูลระหว่างชิปและลดช่วงเวลาที่การสื่อสารทำให้การสร้างคำตอบช้าลง 4
6
ระบบนี้ยังไม่ได้แยกทรัพยากรสำหรับขั้น prefill และ decode เป็นพูลตายตัวคนละชุด แต่ OpenAI อธิบายว่าทรัพยากรด้านการคำนวณ หน่วยความจำ และเครือข่ายสามารถใช้งานร่วมกันได้ทั้งสองช่วง โดย prefill คือการประมวลผลพรอมต์ ซึ่งค่อนข้างเน้นกำลังคำนวณ ส่วน decode คือการสร้างคำตอบทีละโทเค็น ซึ่งมักถูกจำกัดด้วยการเคลื่อนย้ายข้อมูลและแบนด์วิดท์หน่วยความจำ 4
6
รายละเอียดทางเทคนิคที่เปิดเผยต่อสาธารณะยังไม่ครบถ้วน คำอธิบายทางเทคนิคหนึ่งระบุระบบขนาด 128 ชิป มีประสิทธิภาพประมาณ 1.7 exaFLOPS และ HBM 27 TB แต่ประกาศผลทดสอบของ OpenAI ไม่ได้เปิดรายการอุปกรณ์ทั้งแร็กอย่างละเอียดเพียงพอให้บุคคลภายนอกทำซ้ำผลลัพธ์ทุกส่วนได้อย่างอิสระ 4
OpenAI ใช้ AI ช่วยออกแบบชิปด้วย
OpenAI ระบุว่า Jalapeño ใช้เวลาเพียง เก้าเดือน ตั้งแต่การออกแบบเบื้องต้นจนถึงขั้นส่งแบบเข้าสู่การผลิต หรือที่อุตสาหกรรมเซมิคอนดักเตอร์เรียกว่า tape-out ซึ่งถือว่าเป็นกรอบเวลาที่สั้นมากสำหรับแอ็กเซลเลอเรเตอร์แบบกำหนดเองขั้นสูง 17
21
บริษัทยังระบุว่าโมเดลของตนช่วยในหลายขั้นตอน ตั้งแต่การสำรวจการออกแบบ การนำไปใช้งาน การวัดผล การตรวจสอบความถูกต้อง การปรับวงจรคณิตศาสตร์ และการเขียนโปรแกรม
OpenAI รายงานว่า Codex ซึ่งทำงานร่วมกับ GPT‑Astra ช่วยนำโมเดลโอเพนเวตที่ไม่ได้อยู่ในแผนเดิม 3 รุ่นไปสู่ระดับประสิทธิภาพสูงภายในสองเดือน ส่วนการนำไปใช้งานที่ AI สร้างขึ้นสำหรับบล็อก attention และ mixture-of-experts บางส่วนของ GPT‑OSS ทำงานเร็วกว่าโค้ดที่มนุษย์เขียนไว้เดิม 1.5–1.8 เท่า ทั้งนี้ ตัวเลขดังกล่าวเป็นผลของบล็อกบางส่วน ไม่ใช่ผลการให้บริการโมเดลทั้งระบบ 4
ข้อจำกัดที่ต้องรู้ก่อนสรุปว่า “ชนะ Nvidia”
Jalapeño เป็นชิปสำหรับ inference ไม่ใช่ GPU ฝึกโมเดล
Jalapeño มีเป้าหมายเพื่อให้บริการโมเดลที่ฝึกเสร็จแล้ว ไม่ได้ออกแบบมาสำหรับการฝึกโมเดล ดังนั้น OpenAI คาดว่าจะยังใช้แอ็กเซลเลอเรเตอร์จาก Nvidia, AMD และผู้ผลิตรายอื่นสำหรับงานฝึก รวมถึงงาน inference บางส่วน 4
6
พูดง่าย ๆ คือ Jalapeño เป็นชิ้นส่วนเฉพาะทางที่เข้ามาเสริมโครงสร้างพื้นฐานของ OpenAI ไม่ใช่ผลิตภัณฑ์ที่จะทดแทนระบบ GPU ทั้งหมดของบริษัทในทันที
การทดสอบใช้รูปแบบการให้บริการที่ค่อนข้างจำกัด
การเปรียบเทียบใช้ InferenceX ซึ่งเป็นเบนช์มาร์กสาธารณะของ SemiAnalysis โดยกำหนดคำขอแบบการสนทนารอบเดียว มีอินพุต 8,000 โทเค็นและเอาต์พุต 1,000 โทเค็น วัดการให้บริการคำขอตั้งแต่ต้นจนจบ ปรับระบบให้มีประสบการณ์ผู้ใช้ใกล้เคียงกัน และคำนวณผลโดยอ้างอิงค่าพลังงานของชิปที่เผยแพร่ไว้ 4
7
SemiAnalysis ระบุว่าได้เข้าชมและสังเกตการทดสอบในห้องแล็บของ OpenAI แต่ไม่ได้เป็นผู้รันชุดเบนช์มาร์กทั้งหมดด้วยตนเอง นอกจากนี้ยังเตือนว่าการตั้งค่าแบบอินพุต 8,000/เอาต์พุต 1,000 โทเค็นและการสนทนารอบเดียว ไม่ได้ทดสอบงานที่มีบริบทความยาวมาก การทำงานแบบเอเจนต์หลายรอบ การกำหนดเส้นทางคำขอ การใช้ prefix caching การจัดการแคช หรือการ offload ซึ่งล้วนส่งผลต่อประสิทธิภาพจริงในระบบผลิตได้ 6
วิธีนับพลังงานมีผลต่อผลลัพธ์ต่อวัตต์
OpenAI ระบุค่า package power ของ Jalapeño ไว้ที่ 700 วัตต์ และบอกว่าการวัดกำลังไฟต่อเนื่องในภาระงานที่ทดสอบอยู่ที่ไม่เกิน 550 วัตต์ ขณะที่ค่าที่ใช้เปรียบเทียบเป็นตัวเลขจำลอง 1,200 วัตต์สำหรับ GB200 และ 1,400 วัตต์สำหรับ GB300 ดังนั้นความได้เปรียบต่อวัตต์ที่รายงานจึงขึ้นอยู่บางส่วนกับลักษณะงาน จุดที่ใช้วัด และวิธีคำนวณพลังงาน 4
การเทียบกับ Nvidia เป็นภาพ ณ ช่วงเวลาหนึ่ง
การทดสอบเปรียบเทียบ Jalapeño กับผลลัพธ์ที่ดีที่สุดของ GB200 หรือ GB300 ที่มีอยู่ในขณะนั้น แต่เมื่อ Jalapeño ถูกนำไปติดตั้งในวงกว้าง ระบบ Nvidia รุ่นใหม่กว่าอาจเป็นคู่เปรียบเทียบที่เหมาะสมกว่า
Nvidia ยังรายงานผล DeepSeek R1 บน GB300 ด้วยวิธีการแบบ offline ของ MLPerf ซึ่งแตกต่างจากวิธีวัดแบบโต้ตอบของ Jalapeño ตัวเลขทั้งสองชุดจึงไม่ควรนำมาเทียบกันโดยตรง โดยเฉพาะตัวเลขโทเค็นต่อวินาทีต่อผู้ใช้ 1
2
4
แผนติดตั้งและยุทธศาสตร์การแข่งขัน
OpenAI วางแผนติดตั้ง Jalapeño แบบจำกัดในโครงสร้างพื้นฐานคอมพิวเตอร์ของบริษัทภายในสิ้นปี 2026 และคาดว่าจะเพิ่มกำลังการรองรับในปี 2027 บริษัทระบุว่าชิปรุ่นที่สองอยู่ระหว่างการพัฒนาอย่างเข้มข้น ขณะที่รุ่นที่สามกำลังเริ่มต้นการพัฒนา 4
6
ปัจจุบัน Jalapeño เป็นแพลตฟอร์มภายใน ไม่ใช่ชิปที่บริษัทภายนอกสามารถซื้อหรือเช่าใช้งานได้ Richard Ho ผู้บริหารฝ่ายฮาร์ดแวร์ของ OpenAI ระบุว่า ความต้องการใช้ภายในสูงเกินกว่าจะมองเห็นการจำหน่ายให้บุคคลภายนอกในตอนนี้ 6
ดังนั้น ยุทธศาสตร์ระยะใกล้ของ OpenAI คือการ เสริม Nvidia และ AMD ไม่ใช่การเข้ามาแทนที่ทั้งหมด OpenAI ยังต้องใช้แอ็กเซลเลอเรเตอร์อเนกประสงค์สำหรับการฝึกโมเดล และโครงสร้างพื้นฐานในอนาคตก็น่าจะยังประกอบด้วยฮาร์ดแวร์หลายประเภท
ในภาพรวม Google พัฒนา TPU สำหรับทั้ง training และ inference อยู่แล้ว ขณะที่ Amazon และ Microsoft ต่างก็มีชิป AI ที่พัฒนาภายในองค์กร ส่วน Anthropic ก็เคยอธิบายถึงความพยายามพัฒนาซิลิคอนเฉพาะทางของตนเอง 6
บทสรุปเชิงปฏิบัติ
ผลลัพธ์ระยะแรกของ Jalapeño สะท้อนว่าแอ็กเซลเลอเรเตอร์ที่ออกแบบให้ตรงกับภาระงานใดภาระงานหนึ่ง อาจทำได้ดีกว่าระบบทั่วไปในตัวชี้วัดสำคัญของการให้บริการ LLM แบบโต้ตอบ ได้แก่ ประสิทธิภาพด้านพลังงาน เวลาตอบสนองตั้งแต่ต้นจนจบ และจำนวนโทเค็นที่ส่งถึงผู้ใช้แต่ละราย
แต่หลักฐานในตอนนี้สนับสนุนข้อสรุปที่แคบกว่านั้น ไม่ใช่ประโยคว่า “OpenAI เอาชนะ Nvidia แล้ว” ความได้เปรียบที่รายงานใช้กับโมเดลบางรุ่น ภาระงาน InferenceX เฉพาะรูปแบบ และการเปรียบเทียบกับระบบ GB200 และ GB300 ตามการตั้งค่าที่เปิดเผย
สิ่งที่ยังต้องรอดูคือ Jalapeño จะทำงานได้ดีเพียงใดกับทราฟฟิกจริงในวงกว้าง งานเอเจนต์ที่มีบริบทยาว ระบบซอฟต์แวร์และการให้บริการรูปแบบอื่น งานที่เกี่ยวข้องกับการฝึกโมเดล และระบบ Nvidia ที่วางจำหน่ายในช่วงที่ OpenAI ขยายการติดตั้งใช้งาน
Studio Global AI
ทำการวิจัยต่อ
หน้านี้รวมคำตอบที่ได้รับการสนับสนุนจากแหล่งที่มาซึ่งคุณสามารถดำเนินการต่อภายใน Studio Global
คนยังถาม
คำตอบสั้น ๆ สำหรับ "Jalapeño ของ OpenAI เร็วและประหยัดพลังงานกว่า Nvidia จริงหรือ?" คืออะไร
OpenAI ระบุว่า Jalapeño ทำงาน AI ต่อวัตต์ได้มากกว่า 1.5–1.9 เท่า และมีความหน่วงตั้งแต่ต้นจนจบต่ำลง 1.7–3.6 เท่า เมื่อเทียบกับระบบ Nvidia GB200 และ GB300 ในการทดสอบ InferenceX
ประเด็นสำคัญที่ต้องตรวจสอบก่อนคืออะไร?
OpenAI ระบุว่า Jalapeño ทำงาน AI ต่อวัตต์ได้มากกว่า 1.5–1.9 เท่า และมีความหน่วงตั้งแต่ต้นจนจบต่ำลง 1.7–3.6 เท่า เมื่อเทียบกับระบบ Nvidia GB200 และ GB300 ในการทดสอบ InferenceX สำหรับ DeepSeek R1 OpenAI รายงานความเร็วประมาณ 700 โทเค็นต่อวินาทีต่อผู้ใช้บน Jalapeño เทียบกับ 169 โทเค็นต่อวินาทีต่อผู้ใช้บน GB300 ที่ช่วงเวลาระหว่างโทเค็นต่ำสุด
ฉันควรทำอย่างไรต่อไปในทางปฏิบัติ?
Jalapeño ออกแบบมาเพื่อการประมวลผลโมเดลที่ผ่านการฝึกแล้ว ไม่ใช่การฝึกโมเดล และ OpenAI วางแผนติดตั้งใช้งานภายในแบบจำกัดภายในสิ้นปี 2026 แทนการจำหน่ายให้บุคคลภายนอก
แหล่งที่มา
openai.comJalapeño’s first results show industry-leading speed and efficiency in AI inference
techcrunch.comOpenAI’s Jalapeño chip is built for fast inference at scale, benchmarks show | TechCrunch