คำตอบเผยแพร่แล้ว15 แหล่งที่มา
ชิป Jalapeño ของ OpenAI เทียบ Nvidia GB200–GB300: เร็วกว่าและประหยัดไฟแค่ไหน
OpenAI ระบุว่า Jalapeño ทำงาน AI ต่อวัตต์ได้มากกว่า Nvidia GB200 และ GB300 ราว 1.5–1.9 เท่า และมีเวลาแฝงแบบครบกระบวนการต่ำกว่าราว 1.7–3.6 เท่าในงานที่ทดสอบ [4][7] เมื่อรัน GPT‑OSS 120B เทียบกับ GB200 บริษัทระบุว่าทำ throughput สูงสุดต่อกิโลวัตต์ได้ 1.9 เท่า และสร้างโทเคนได้สูงสุด 1,459 โทเคนต่อวินาทีต่อผู้ใช้ เทียบก...
เผยแพร่โดยรูปภาพสร้างด้วย GPT Image 1.5
คำตอบการวิจัย
ประเด็นสำคัญ
- OpenAI ระบุว่า Jalapeño ทำงาน AI ต่อวัตต์ได้มากกว่า Nvidia GB200 และ GB300 ราว 1.5–1.9 เท่า และมีเวลาแฝงแบบครบกระบวนการต่ำกว่าราว 1.7–3.6 เท่าในงานที่ทดสอบ [4][7]
- เมื่อรัน GPT‑OSS 120B เทียบกับ GB200 บริษัทระบุว่าทำ throughput สูงสุดต่อกิโลวัตต์ได้ 1.9 เท่า และสร้างโทเคนได้สูงสุด 1,459 โทเคนต่อวินาทีต่อผู้ใช้ เทียบกับ 535 โทเคนต่อวินาทีต่อผู้ใช้ [4]
- สำหรับ DeepSeek R1 เทียบกับ GB300 Jalapeño มีเวลาเฉลี่ยระหว่างโทเคนขั้นต่ำ 1.43 มิลลิวินาที หรือประมาณ 700 โทเคนต่อวินาทีต่อผู้ใช้ เทียบกับ 169 โทเคนต่อวินาทีต่อผู้ใช้บน GB300 [4]
- Jalapeño เป็นชิปที่ออกแบบมาเฉพาะสำหรับการอนุมานโมเดลภาษาขนาดใหญ่ ไม่ใช่ GPU อเนกประสงค์ และยังไม่รองรับงานฝึกโมเดลเป็นหลัก [1][4]
AI พรอมต์
openai.comCreate a landscape editorial hero image for this Studio Global article: What did OpenAI’s custom Jalapeño inference chip, co developed with Broadcom, demonstrate in its latest benchmarks against Nvidia’s GB200 an. Article summary: OpenAI says Jalapeño, its first Broadcom co developed custom accelerator, beats the compared Nvidia GB200/GB300 rack systems on the tested inference workloads in both energy efficiency and response speed.. Topic tags: general web, openai, llm, agents, ai. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fake numbers, clic
OpenAI ระบุว่า Jalapeño ชิปเร่งความเร็ว AI รุ่นแรกที่บริษัทพัฒนาร่วมกับ Broadcom ทำผลงานเหนือกว่าระบบแร็กที่ใช้ Nvidia GB200 และ GB300 ในงาน อนุมาน (inference) ที่นำมาทดสอบ ทั้งด้านประสิทธิภาพต่อพลังงานและความเร็วในการตอบสนอง
อย่างไรก็ตาม ตัวเลขเหล่านี้เป็นผลทดสอบระยะแรกที่ OpenAI รายงานเอง ไม่ใช่การทดสอบอิสระแบบเทียบกันทุกเงื่อนไข และยังไม่ครอบคลุมงาน AI ในระบบจริงทั้งหมด 4
7
ผลทดสอบสำคัญ
OpenAI ทดสอบ Jalapeño กับ GPT‑OSS 120B, DeepSeek R1 670B และ Kimi K2.5 ขนาด 1 ล้านล้านพารามิเตอร์ โดยรายงานว่า:
- ทำงาน AI ต่อวัตต์ที่ throughput สูงสุดได้มากกว่าระบบเปรียบเทียบ 1.5–1.9 เท่า
- ลดเวลาแฝงตั้งแต่รับคำขอจนส่งผลลัพธ์ครบกระบวนการได้ 1.7–3.6 เท่า
- สำหรับงานที่เน้นการโต้ตอบแบบรวดเร็ว มีประสิทธิภาพสูงกว่าราว 2.1–4.1 เท่า ตามที่ OpenAI ระบุ
4
GPT‑OSS 120B เทียบกับ Nvidia GB200
ในการทดสอบ GPT‑OSS 120B OpenAI รายงานว่า Jalapeño ทำ throughput แบบผสมสูงสุดต่อกิโลวัตต์ได้ 85,448 เทียบกับ 44,960 บน GB200 หรือประมาณ 1.9 เท่า
เวลาแฝงแบบครบกระบวนการอยู่ที่ 1.03 วินาที เทียบกับ 1.80 วินาที บน GB200 หรือแฝงต่ำกว่าราว 1.7 เท่า
ส่วนค่าเวลาขั้นต่ำระหว่างการสร้างโทเคนอยู่ที่ 0.69 มิลลิวินาที คิดเป็นประมาณ 1,459 โทเคนต่อวินาทีต่อผู้ใช้ เทียบกับ 1.87 มิลลิวินาที หรือ 535 โทเคนต่อวินาทีต่อผู้ใช้ บน GB200 4
DeepSeek R1 เทียบกับ Nvidia GB300
เมื่อทดสอบ DeepSeek R1 ในรูปแบบ MXFP4 OpenAI ระบุว่า Jalapeñoทำ throughput สูงสุดต่อกิโลวัตต์ได้ 19,641 เทียบกับ 11,781 บน GB300 หรือประมาณ 1.7 เท่า
เวลาแฝงแบบครบกระบวนการลดจาก 5.99 วินาที เหลือ 1.65 วินาที หรือแฝงต่ำกว่าราว 3.6 เท่า
ค่าเวลาขั้นต่ำระหว่างโทเคนอยู่ที่ 1.43 มิลลิวินาที คิดเป็นประมาณ 700 โทเคนต่อวินาทีต่อผู้ใช้ เทียบกับ 169 โทเคนต่อวินาทีต่อผู้ใช้ บน GB300 4
Kimi K2.5 เทียบกับ Nvidia GB300
สำหรับ Kimi K2.5 ในรูปแบบ MXFP4 OpenAI รายงานว่า Jalapeñoทำ throughput สูงสุดต่อกิโลวัตต์ได้มากกว่าราว 1.5 เท่า และลดเวลาแฝงแบบครบกระบวนการได้ราว 3.4 เท่า
ที่ค่าเวลาขั้นต่ำระหว่างโทเคน Jalapeño ทำได้ประมาณ 694 โทเคนต่อวินาทีต่อผู้ใช้ เทียบกับราว 182 โทเคนต่อวินาทีต่อผู้ใช้ บน GB300 4
Jalapeño แตกต่างจาก GPU ทั่วไปอย่างไร
Jalapeño ไม่ใช่ GPU อเนกประสงค์ที่นำมาปรับใช้กับงาน AI แต่เป็นชิปที่ออกแบบมาโดยเฉพาะสำหรับการอนุมานโมเดลภาษาขนาดใหญ่ หรือขั้นตอนที่นำโมเดลที่ฝึกเสร็จแล้วมาใช้งานจริง
บทบาทของแต่ละบริษัทแบ่งออกเป็นดังนี้:
- OpenAI ออกแบบสถาปัตยกรรมตัวเร่งความเร็ว
- Broadcom ดูแลการนำแบบไปสู่ซิลิคอนและระบบเครือข่าย
- Celestica รับผิดชอบการรวมระบบในระดับบอร์ด แร็ก และแพลตฟอร์ม
1
การออกแบบระดับแร็กที่เปิดเผยออกมาใช้เครือข่ายเชื่อมต่อขนาดใหญ่ เพื่อให้ภาระงานอยู่ภายในระบบเดียวกันได้มากที่สุด นอกจากนี้ยังพยายามวางและเก็บสถานะของโมเดล รวมถึง KV cache ไว้ใกล้กับชิป เพื่อลดการเคลื่อนย้ายข้อมูลระหว่างชิปและลดเวลาที่ต้องรอการสื่อสาร 4
Jalapeño ยังไม่ได้แยกทรัพยากรสำหรับขั้นตอน prefill และ decode ออกจากกันเป็นคนละกลุ่ม โดยใช้ทรัพยากรคำนวณ หน่วยความจำ และเครือข่ายชุดเดียวกันรองรับทั้งสองช่วง แนวทางนี้มีความสำคัญเพราะ prefill ใช้พลังประมวลผลสูง ขณะที่ decode ซึ่งสร้างโทเคนทีละตัวพึ่งพาแบนด์วิดท์หน่วยความจำมากกว่า 4
ข้อมูลจำเพาะระดับระบบที่เปิดเผยต่อสาธารณะยังมีจำกัด รายงานทางเทคนิคฉบับหนึ่งกล่าวถึงระบบ 128 ชิปที่มีพลังประมวลผลประมาณ 1.7 exaFLOPS และ HBM ราว 27 เทราไบต์ แต่โพสต์ผลทดสอบของ OpenAI ไม่ได้แสดงรายการส่วนประกอบของแร็กทั้งหมด 4
พัฒนาจากแบบสู่โรงงานใน 9 เดือน
OpenAI ระบุว่าบริษัทใช้เวลาเพียง 9 เดือน ตั้งแต่เริ่มออกแบบจนถึงขั้นตอนส่งแบบผลิตจริง หรือที่อุตสาหกรรมเซมิคอนดักเตอร์เรียกว่า tape-out ซึ่งบริษัทมองว่าเป็นรอบการพัฒนาชิปประสิทธิภาพสูงที่รวดเร็วเป็นพิเศษ 1
บริษัทบอกว่าโมเดล AI ของตนช่วยงานออกแบบ สำรวจแนวทางการทำงานของชิป การวัดผล การตรวจสอบความถูกต้อง การปรับวงจรคณิตศาสตร์ และการเขียนโปรแกรม
OpenAI ยังระบุว่า Codex ที่ทำงานร่วมกับ GPT‑Astra ช่วยนำโมเดลโอเพนเวต 3 รุ่นซึ่งไม่ได้อยู่ในแผนเดิมมาปรับให้ทำงานได้ประสิทธิภาพสูงภายใน 2 เดือน และในบล็อก attention กับ mixture-of-experts บางส่วนของ GPT‑OSS โค้ดที่ AI สร้างขึ้นเร็วกว่าโค้ดที่วิศวกรเขียนไว้เดิม 1.5–1.8 เท่า แต่ตัวเลขดังกล่าวเป็นผลระดับบล็อก ไม่ใช่ผลของโมเดลทั้งระบบ 4
ข้อจำกัดของตัวเลขที่ควรรู้
การอ่านผลทดสอบนี้ควรคำนึงถึงปัจจัยสำคัญหลายข้อ:
- Jalapeño ออกแบบมาสำหรับ inference ไม่ใช่ training ดังนั้น OpenAI ยังต้องพึ่งพา Nvidia, AMD และตัวเร่งความเร็วจากบริษัทอื่นสำหรับการฝึกโมเดล รวมถึงรองรับงาน inference บางส่วน
6
- การทดสอบใช้ InferenceX ชุดเบนช์มาร์กสาธารณะจาก SemiAnalysis โดยกำหนดงานแบบ single-turn ที่มีอินพุต 8,000 โทเคนและเอาต์พุต 1,000 โทเคน พร้อมวัดการให้บริการคำขอแบบครบกระบวนการ
7
- OpenAI ระบุว่า Jalapeño มีพลังงานระดับแพ็กเกจ 700 วัตต์ แต่ใช้พลังงานที่วัดได้ต่อเนื่องไม่เกินประมาณ 550 วัตต์ ในงานชุดนี้ ขณะที่ GB200 และ GB300 ถูกประเมินไว้ที่ 1,200 วัตต์ และ 1,400 วัตต์ ตามลำดับ ดังนั้นความได้เปรียบต่อวัตต์จึงขึ้นอยู่กับลักษณะงานและวิธีนับพลังงาน
- SemiAnalysis ระบุว่าได้ชมการทดสอบในห้องแล็บของ OpenAI แต่ไม่ได้เป็นผู้รันชุดทดสอบทั้งหมดด้วยตัวเอง อีกทั้งเตือนว่า InferenceX รูปแบบ single-turn 8k/1k ยังไม่ครอบคลุมบริบทที่ยาวกว่า งานเอเจนต์แบบหลายรอบ การจัดเส้นทางคำขอ การใช้ prefix cache การจัดการแคช หรือการย้ายข้อมูลออกนอกหน่วยความจำ ซึ่งล้วนส่งผลต่อประสิทธิภาพในระบบจริงได้
- การเปรียบเทียบนี้เป็นภาพ ณ ช่วงเวลาหนึ่ง โดย GB200 และ GB300 เป็นระบบเชิงพาณิชย์ตระกูล Blackwell ขณะที่แพลตฟอร์ม Nvidia รุ่นใหม่กว่าอาจเป็นคู่เทียบที่เหมาะสมกว่าเมื่อ Jalapeño เริ่มใช้งานเต็มรูปแบบ
นอกจากนี้ Nvidia รายงาน throughput ของ GB300 กับ DeepSeek R1 ในการทดสอบ MLPerf แบบ offline ซึ่งใช้ระเบียบวิธีต่างจากตัวเลขโทเคนต่อผู้ใช้แบบโต้ตอบของ Jalapeño จึงไม่ควรนำตัวเลขทั้งสองชุดมาเทียบกันโดยตรง 2
4
จะเริ่มใช้งานเมื่อไร และจะขายให้คนอื่นหรือไม่
OpenAI วางแผนติดตั้งระบบที่ใช้ Jalapeño ในโครงสร้างพื้นฐานคอมพิวต์ของบริษัทแบบจำกัดจำนวนภายในสิ้นปี 2026 ก่อนเพิ่มกำลังการผลิตในปี 2027 ขณะเดียวกันบริษัทระบุว่า Jalapeño รุ่นที่ 2 อยู่ระหว่างการพัฒนาอย่างจริงจัง และรุ่นที่ 3 เริ่มเข้าสู่การออกแบบแล้ว 4
6
OpenAI ยังไม่มีแผนขายชิปนี้ให้ลูกค้าภายนอก โดย Richard Ho รองประธานฝ่ายฮาร์ดแวร์ของบริษัทกล่าวว่า ความต้องการใช้งานภายในสูงจนยังมองไม่เห็นความเป็นไปได้ที่จะเปิดขายภายนอก 6
ดังนั้น Jalapeño จึงเป็นกลยุทธ์เพื่อ เสริม ระบบจาก Nvidia และ AMD มากกว่าจะเข้ามาแทนที่ทั้งหมด OpenAI ยืนยันว่าจะยังใช้ตัวเร่งความเร็วจาก Nvidia และพันธมิตรรายอื่นในวงกว้าง โดยเฉพาะงานฝึกโมเดลที่ Jalapeño ไม่ได้ถูกออกแบบมาให้รองรับ 4
6
ในภาพใหญ่ การเปิดตัวนี้ทำให้ OpenAI เข้าสู่การแข่งขันด้านการออกแบบชิปแบบครบห่วงโซ่เช่นเดียวกับ Google ที่มี TPU สำหรับ training และ inference รวมถึง Amazon และ Microsoft ที่พัฒนาชิป AI ภายในองค์กร และ Anthropic ที่ระบุว่ากำลังสร้างทีมออกแบบชิปของตนเอง 6
สรุป: Jalapeño แสดงศักยภาพโดดเด่นสำหรับงานอนุมานโมเดลภาษา โดยเฉพาะเมื่อต้องการทั้งความเร็วตอบสนองและประสิทธิภาพการใช้ไฟ แต่ข้อได้เปรียบที่ OpenAI อ้างยังจำกัดอยู่ที่ชุดทดสอบและการกำหนดค่าที่เปิดเผย จึงยังเร็วเกินไปที่จะสรุปว่าเป็นผู้ชนะเหนือ Nvidia ในทุกประเภทงาน AI
Studio Global AI
ทำการวิจัยต่อ
หน้านี้รวมคำตอบที่ได้รับการสนับสนุนจากแหล่งที่มาซึ่งคุณสามารถดำเนินการต่อภายใน Studio Global
คนยังถาม
คำตอบสั้น ๆ สำหรับ "ชิป Jalapeño ของ OpenAI เทียบ Nvidia GB200–GB300: เร็วกว่าและประหยัดไฟแค่ไหน" คืออะไร
OpenAI ระบุว่า Jalapeño ทำงาน AI ต่อวัตต์ได้มากกว่า Nvidia GB200 และ GB300 ราว 1.5–1.9 เท่า และมีเวลาแฝงแบบครบกระบวนการต่ำกว่าราว 1.7–3.6 เท่าในงานที่ทดสอบ [4][7]
ประเด็นสำคัญที่ต้องตรวจสอบก่อนคืออะไร?
OpenAI ระบุว่า Jalapeño ทำงาน AI ต่อวัตต์ได้มากกว่า Nvidia GB200 และ GB300 ราว 1.5–1.9 เท่า และมีเวลาแฝงแบบครบกระบวนการต่ำกว่าราว 1.7–3.6 เท่าในงานที่ทดสอบ [4][7] เมื่อรัน GPT‑OSS 120B เทียบกับ GB200 บริษัทระบุว่าทำ throughput สูงสุดต่อกิโลวัตต์ได้ 1.9 เท่า และสร้างโทเคนได้สูงสุด 1,459 โทเคนต่อวินาทีต่อผู้ใช้ เทียบกับ 535 โทเคนต่อวินาทีต่อผู้ใช้ [4]
ฉันควรทำอย่างไรต่อไปในทางปฏิบัติ?
สำหรับ DeepSeek R1 เทียบกับ GB300 Jalapeño มีเวลาเฉลี่ยระหว่างโทเคนขั้นต่ำ 1.43 มิลลิวินาที หรือประมาณ 700 โทเคนต่อวินาทีต่อผู้ใช้ เทียบกับ 169 โทเคนต่อวินาทีต่อผู้ใช้บน GB300 [4]
แหล่งที่มา