ผลทดสอบ Jalapeño ของ OpenAI บอกอะไรจริงบ้าง

ผลทดสอบชุดแรกที่ OpenAI เปิดเผยทำให้ Jalapeño ดูมีศักยภาพอย่างมากสำหรับการให้บริการโมเดลภาษาขนาดใหญ่ในปริมาณมหาศาล บริษัทระบุว่าชิปที่พัฒนาขึ้นเองสามารถทำงาน AI ต่อหน่วยพลังงานได้มากกว่า 1.5–1.9 เท่า และมีความหน่วงแบบ end-to-end ต่ำกว่า 1.7–3.6 เท่า เมื่อเทียบกับระบบ Nvidia GB200 และ GB300 ที่ใช้เป็นคู่เปรียบเทียบบน InferenceX ซึ่งเป็นเบนช์มาร์กสาธารณะของ SemiAnalysis

อย่างไรก็ตาม ตัวเลขดังกล่าวไม่ได้หมายความว่า Jalapeño พิสูจน์แล้วว่าเป็นชิปที่เร็วกว่า ถูกกว่า หรือเหมาะจะนำมาแทน GPU ได้ในทุกงาน การทดสอบมีขอบเขตค่อนข้างแคบ ชิปถูกออกแบบมาสำหรับ inference เท่านั้น และตัวเลขหลักมาจากการทดสอบของ OpenAI บนซิลิคอนสำหรับงานวิศวกรรมเป็นหลัก 14

ตัวเลขเด่นจากการทดสอบ

OpenAI เปรียบเทียบ Jalapeño กับระบบ Nvidia GB200 และ GB300 บน InferenceX ซึ่งวัดกระบวนการให้บริการคำขอ AI ตั้งแต่ต้นจนจบ บริษัทปรับตัวเลขประสิทธิภาพต่อพลังงานโดยอ้างอิงค่ากำลังไฟที่ผู้ผลิตเผยแพร่สำหรับชิปแต่ละรุ่น

ผลลัพธ์ที่ OpenAI รายงานมีดังนี้

• ทำงาน AI ต่อวัตต์ได้มากกว่า 1.5–1.9 เท่า ที่จุด throughput สูงสุด เมื่อเทียบกับระบบ Nvidia ที่นำมาทดสอบ
• ความหน่วงแบบ end-to-end ต่ำกว่า 1.7–3.6 เท่า
• ประสิทธิภาพในงานที่ต้องการการโต้ตอบสูงกว่า 2.1–4.1 เท่า ตามจุดการทำงานที่ OpenAI เลือกนำเสนอ 4

ช่องว่างด้านความหน่วงที่เด่นที่สุดอยู่ในการทดสอบ DeepSeek R1 670B โดย Jalapeño ใช้เวลา 1.65 วินาทีต่อคำขอ เทียบกับ 5.99 วินาทีบนระบบที่ใช้ GB300 หรือเร็วกว่าในแง่เวลารวมประมาณ 3.6 เท่า 1112

ตัวเลขเหล่านี้เป็นผลเปรียบเทียบจากเบนช์มาร์ก ไม่ใช่คำสัญญาว่า ChatGPT จะตอบเร็วขึ้นในสัดส่วนเดียวกัน หรือว่าราคา API จะลดลงตามนั้น ประสิทธิภาพจริงยังขึ้นอยู่กับโมเดล ซอฟต์แวร์ให้บริการ การรวมคำขอเข้าด้วยกันหรือ batching เครือข่าย ความยาวบริบท ความยาวคำตอบ รวมถึงระดับความหน่วงหรือ throughput ที่ต้องการ

ทดสอบกับโมเดลใดและเงื่อนไขแบบไหน

การทดสอบครอบคลุมโมเดลแบบเปิด 3 รุ่น ได้แก่

โมเดล	ระบบ Nvidia ที่ใช้เปรียบเทียบ	ผลลัพธ์ของ Jalapeño ที่รายงาน
GPT-OSS 120B	GB200	ทำงานต่อวัตต์ได้ประมาณ 1.9 เท่า และมีความหน่วงรวม 1.03 วินาที เทียบกับ 1.80 วินาที
DeepSeek R1 670B	GB300	ทำงานต่อวัตต์ได้ประมาณ 1.7 เท่า และมีความหน่วง 1.65 วินาที เทียบกับ 5.99 วินาที
Kimi K2.5 1T	GB300	ทำงานต่อวัตต์ได้ประมาณ 1.5 เท่า และมีความหน่วง 1.56 วินาที เทียบกับ 5.31 วินาที

ตัวเลขข้างต้นมาจากสรุปผลการทดสอบที่มีการรายงาน ไม่ใช่การทดสอบเต็มชุดที่บุคคลภายนอกทำซ้ำอย่างเป็นอิสระ 61112

รูปแบบการใช้งานเป็น single-turn หรือการส่งคำขอหนึ่งรอบ โดยกำหนดอินพุตไว้ที่ 8,000 โทเคน และเอาต์พุต 1,000 โทเคน เงื่อนไขนี้ช่วยให้เปรียบเทียบระบบได้อย่างควบคุม แต่ยังไม่ครอบคลุมการสนทนาหลายรอบ การเรียกใช้เครื่องมือ งานเอเจนต์ คำตอบที่มีความยาวเปลี่ยนแปลง หรือคำขอที่ใช้บริบทยาวมาก 813

นอกจากนี้ เบนช์มาร์กยังสะท้อนการจับคู่ฮาร์ดแวร์และซอฟต์แวร์เฉพาะชุดหนึ่ง การเปลี่ยนคอมไพเลอร์ เคอร์เนล การควอนไทซ์ ระบบจัดตารางงาน สถาปัตยกรรมโมเดล หรือ runtime ของ Nvidia อาจทำให้ช่องว่างระหว่างระบบเปลี่ยนไปได้

สเปกระดับแร็กของ Jalapeño

Jalapeño เป็นวงจรรวมเฉพาะงาน หรือ ASIC ที่ OpenAI พัฒนาร่วมกับ Broadcom เพื่อใช้กับ inference ของโมเดลภาษาขนาดใหญ่ ต่างจาก GPU อเนกประสงค์ที่รองรับงานได้หลากหลาย Jalapeño ถูกปรับแต่งมาสำหรับการนำโมเดลที่ฝึกเสร็จแล้วมาใช้งานเพื่อสร้างคำตอบโดยเฉพาะ 15

สเปกของระบบระดับแร็กที่มีการรายงาน ได้แก่

• ชิปเร่งความเร็ว 128 ตัวต่อระบบระดับแร็ก
• กำลังประมวลผลประมาณ 1.7 exaFLOPS ที่ความแม่นยำ 4 บิต
• หน่วยความจำแบนด์วิดท์สูงรวมประมาณ 27 TB
• ค่ากำลังไฟของชิป 700 วัตต์ เทียบกับค่าที่เผยแพร่ไว้ 1,200 วัตต์สำหรับ GB200 และ 1,400 วัตต์สำหรับชิป GB300 121419

ในระดับชิป Jalapeño รุ่น B0 ที่มีการรายงานใช้ไดประมวลผลขนาดเทียบเท่าขีดจำกัดเรติเคิล ผลิตด้วยกระบวนการ N3P ของ TSMC และรองรับการประมวลผล MXFP4 ที่ 13.4 PFLOPS 18

แนวคิดของ Jalapeñoจึงเป็นการออกแบบทั้งระบบ ไม่ใช่เพียงการสร้างตัวเร่งความเร็วแยกเดี่ยว หน่วยความจำ การเชื่อมต่อ เครือข่าย และการสื่อสารระดับแร็กมีความสำคัญอย่างยิ่งต่อการให้บริการโมเดลขนาดใหญ่มาก ซึ่งมักต้องกระจายคำขอไปยังชิปหลายตัว 1819

ใช้เวลาพัฒนานานแค่ไหน และ AI มีบทบาทอย่างไร

มีรายงานว่า OpenAI และ Broadcom ใช้เวลาตั้งแต่แนวคิดจนถึงขั้น tape-out ราว 9 เดือน ซึ่งถือว่าสั้นมากสำหรับชิปประสิทธิภาพสูง 720

AI-assisted engineering หรือการใช้ AI ช่วยงานวิศวกรรม เป็นส่วนหนึ่งของกระบวนการออกแบบ แต่ไม่ได้หมายความว่าโมเดล AI ออกแบบและผลิตโปรเซสเซอร์ได้ด้วยตัวเองทั้งหมด กระบวนการดังกล่าวยังอาศัยทีมมนุษย์ด้านสถาปัตยกรรมและวิศวกรรม งานนำชิปไปสู่การผลิตของ Broadcom พันธมิตรด้านการผลิต และการประกอบรวมระบบ 713

ข้อสรุปที่รอบคอบกว่าคือ OpenAI นำความเข้าใจเกี่ยวกับลักษณะงานของโมเดลภาษาขนาดใหญ่ รวมถึงเครื่องมือ AI ในกระบวนการวิศวกรรม มาใช้ร่วมออกแบบฮาร์ดแวร์และซอฟต์แวร์ให้เหมาะกับงานให้บริการที่เฉพาะเจาะจง การออกแบบแบบนี้อาจเพิ่มประสิทธิภาพได้มาก แต่ก็แลกกับความยืดหยุ่นที่น้อยกว่า GPU แบบโปรแกรมได้

เหตุใด Jalapeño จึงเป็นชิปสำหรับ inference เท่านั้น

Jalapeño สร้างมาเพื่อให้บริการโมเดลที่ฝึกเสร็จแล้ว ไม่ใช่เพื่อฝึกโมเดล frontier รุ่นใหม่ ดังนั้น OpenAI ยังจำเป็นต้องใช้ตัวเร่งความเร็วที่โปรแกรมได้ โดยเฉพาะ GPU สำหรับการฝึกโมเดล การวิจัย การทดลอง และงานที่ไม่สามารถปรับให้เข้ากับการออกแบบ inference แบบเฉพาะทางได้ดี 813

ข้อจำกัดนี้ทำให้คำว่า “เอาชนะ Nvidia” ต้องตีความอย่างระมัดระวัง Jalapeño อาจทำได้ดีกว่าระบบ Nvidia ที่นำมาเปรียบเทียบในตัวชี้วัดด้าน inference บางรายการ ขณะที่ฮาร์ดแวร์ของ Nvidia ยังคงมีบทบาทสำคัญในส่วนอื่นของโครงสร้างการประมวลผลของ OpenAI ASIC เฉพาะงานอาจยอดเยี่ยมกับงานที่คาดการณ์ได้และมีปริมาณสูง โดยไม่จำเป็นต้องมาแทนแพลตฟอร์มที่รองรับการฝึกและการเปลี่ยนโมเดลอย่างรวดเร็ว

สิ่งที่ผลทดสอบยังพิสูจน์ไม่ได้

ควรอ่านผลลัพธ์นี้ว่า “ทำได้ดีกว่าในการทดสอบที่รายงาน” ไม่ใช่ “เป็นระบบ AI ที่ดีที่สุดโดยรวม” โดยมีข้อควรระวังสำคัญดังนี้

• การทดสอบใช้ workload แบบ single-turn ที่กำหนดรูปแบบค่อนข้างตายตัวและเรียบง่าย ไม่ใช่ทราฟฟิกการใช้งานจริงทุกประเภท 1112
• ตัวเลขเผยแพร่มาจากการทดสอบของ OpenAI บนซิลิคอนสำหรับงานวิศวกรรม โดยรายงานที่เกี่ยวข้องกับ SemiAnalysis ระบุว่าวิศวกรได้ตรวจสอบการรันทดสอบที่ห้องแล็บของ OpenAI แต่ตัวเลขพื้นฐานยังมาจาก OpenAI 214
• ประสิทธิภาพต่อพลังงานถูกปรับเทียบด้วยค่ากำลังไฟของชิปที่เผยแพร่ ซึ่งมีประโยชน์ต่อการเปรียบเทียบ แต่ไม่ใช่การวิเคราะห์ต้นทุนหรือพลังงานของดาต้าเซ็นเตอร์แบบครบถ้วน 11
• ผลลัพธ์อาจเปลี่ยนได้เมื่อมีการอัปเดตคอมไพเลอร์ เคอร์เนล runtime การควอนไทซ์ batching เครือข่าย หรือซอฟต์แวร์ของ Nvidia
• การเปรียบเทียบยังไม่ได้พิสูจน์ประสิทธิภาพของ Jalapeño เมื่อเทียบกับตัวเร่งความเร็วรุ่นใหม่หรือรุ่นที่จะเปิดตัวทั้งหมด เช่น ผลิตภัณฑ์หลังยุค Blackwell ของ Nvidia และระบบรุ่นล่าสุดจาก Google, Amazon, Microsoft, AMD หรือผู้ให้บริการรายอื่น 238

ดังนั้น ผลทดสอบนี้ยังไม่มีหลักฐานเพียงพอสำหรับการอ้างว่า OpenAI จะลดต้นทุนได้ 50% ในทุกกรณี ลดราคา API ได้แน่นอน หรือจะเลิกพึ่งพา Nvidia ในทันที หลักฐานที่มีรองรับเฉพาะข้ออ้างด้านประสิทธิภาพและพลังงานภายใต้เงื่อนไขที่กำหนดไว้เท่านั้น

OpenAI จะเริ่มใช้งานเมื่อใด

OpenAI วางแผนเริ่มนำ Jalapeñoไปใช้งานในโครงสร้างพื้นฐานของบริษัทภายในสิ้นปี 2026 ขณะที่การผลิตในปริมาณมากและการขยายระบบในวงกว้างคาดว่าจะเกิดขึ้นในปี 2027 แผนระยะยาวเกี่ยวข้องกับดาต้าเซ็นเตอร์ระดับกิกะวัตต์ร่วมกับ Microsoft และพันธมิตรด้านโครงสร้างพื้นฐานรายอื่น ผ่านแพลตฟอร์มชิปหลายรุ่น 16

ชิปนี้มีเป้าหมายหลักเพื่อรองรับความต้องการภายในของ OpenAI ไม่ใช่ผลิตเพื่อจำหน่ายเป็นโปรเซสเซอร์เชิงพาณิชย์ ดังนั้นบริษัทภายนอกยังไม่ควรคาดหวังว่าจะสามารถซื้อฮาร์ดแวร์ Jalapeño หรือเช่าอินสแตนซ์คลาวด์สาธารณะที่ใช้ Jalapeñoได้จากประกาศดังกล่าว 16

การเก็บฮาร์ดแวร์ไว้ใช้ภายในทำให้ OpenAI สามารถปรับแต่งชิปให้เข้ากับโมเดล เคอร์เนล และระบบให้บริการของตัวเองได้โดยตรง อีกทั้งไม่ต้องรับภาระด้านการสนับสนุนซอฟต์แวร์ การแข่งขันกับลูกค้า ช่องทางขาย และระบบนิเวศแบบผู้ผลิตเซมิคอนดักเตอร์ทั่วไป เหตุผลส่วนหลังเป็นการวิเคราะห์เชิงกลยุทธ์ ส่วนแผนที่ยืนยันแล้วคือการใช้งานภายใน ไม่ใช่การขายชิปให้บุคคลภายนอก 16

Jalapeñoอยู่ตรงไหนในสงครามชิป AI

Jalapeñoควรถูกมองว่าเป็นหนึ่งในองค์ประกอบของพอร์ตโฟลิโอการประมวลผลแบบครบสแต็กของ OpenAI กลยุทธ์ของบริษัทผสมผสานกำลังประมวลผลจาก Microsoft และคลาวด์รายอื่น GPU ระดับเดียวกับ Nvidia สำหรับงานฝึกโมเดลและงานที่ต้องการความยืดหยุ่น และชิปเฉพาะทางสำหรับ inference ที่มีรูปแบบคงที่และมีปริมาณสูง โดย OpenAI ระบุว่าพอร์ตโฟลิโอของบริษัทครอบคลุม Microsoft, Nvidia, AWS, AMD, Broadcom, Cerebras, CoreWeave, Oracle, SB Energy และ SoftBank

แนวทางนี้สอดคล้องกับการเปลี่ยนแปลงในอุตสาหกรรมโดยรวม Google พัฒนา TPU, Amazon มี Trainium และ Inferentia, Microsoft มี Maia, AMD แข่งขันด้วย GPU สำหรับงาน AI และ Nvidia ยังคงเป็นผู้จัดหาระบบที่โปรแกรมได้อย่างกว้างขวาง ส่วน Anthropic ก็เดินหน้าสร้างโครงสร้างพื้นฐานที่ปรับแต่งเฉพาะมากขึ้นผ่านความสัมพันธ์กับผู้ให้บริการคลาวด์ แม้หลักฐานจากเบนช์มาร์กชุดนี้จะไม่ได้ให้ข้อมูลเปรียบเทียบโดยตรงกับระบบของ Anthropic

ผลกระทบเชิงกลยุทธ์ในระยะใกล้จึงซับซ้อนกว่าการประกาศว่า GPU กำลังถูกแทนที่ Jalapeñoอาจทำให้ OpenAI ควบคุมต้นทุน inference ความหน่วง การจัดหาฮาร์ดแวร์ และแผนงานชิปของตัวเองได้มากขึ้น ขณะที่ Nvidia ยังมีความสำคัญต่อการฝึกโมเดลและงานวิจัยที่ต้องการความยืดหยุ่น และชิปที่ OpenAI ออกแบบเองก็ทำหน้าที่เป็นทางเลือกเฉพาะทางสำหรับงานให้บริการโมเดลที่มีปริมาณสูงและคาดการณ์ได้ 813