Câu trả lờiĐã xuất bản15 nguồn
Jalapeño của OpenAI cho tốc độ phản hồi AI nhanh hơn, tiết kiệm điện hơn Nvidia
OpenAI cho biết Jalapeño, chip tăng tốc tùy biến đầu tiên được phát triển cùng Broadcom, vượt các hệ thống Nvidia GB200 và GB300 trong những bài kiểm tra suy luận được công bố. Trên GPT‑OSS 120B, DeepSeek R1 670B và Kimi K2.5 1T, Jalapeño đạt nhiều hơn 1,5–1,9 lần khối lượng công việc AI trên mỗi watt và giảm 1,7–3,...
Đăng bởiHình ảnh được tạo bằng GPT Image 1.5
Câu trả lời nghiên cứu
Bài học chính
- OpenAI cho biết Jalapeño, chip tăng tốc tùy biến đầu tiên được phát triển cùng Broadcom, vượt các hệ thống Nvidia GB200 và GB300 trong những bài kiểm tra suy luận được công bố.
- Trên GPT‑OSS 120B, DeepSeek R1 670B và Kimi K2.5 1T, Jalapeño đạt nhiều hơn 1,5–1,9 lần khối lượng công việc AI trên mỗi watt và giảm 1,7–3,6 lần độ trễ đầu cuối so với hệ thống đối chiếu.
- Ở chế độ có độ trễ thấp, OpenAI báo cáo Jalapeño đạt khoảng 1.459 token/giây/người dùng với GPT‑OSS 120B và khoảng 700 token/giây/người dùng với DeepSeek R1.
- Đây vẫn là kết quả ban đầu do OpenAI công bố, dựa trên cấu hình InferenceX cụ thể; chưa thể xem là phép đo độc lập cho mọi workloads AI trong môi trường vận hành thực tế.
Prompt AI
openai.comCreate a landscape editorial hero image for this Studio Global article: What did OpenAI’s custom Jalapeño inference chip, co developed with Broadcom, demonstrate in its latest benchmarks against Nvidia’s GB200 an. Article summary: OpenAI says Jalapeño, its first Broadcom co developed custom accelerator, beats the compared Nvidia GB200/GB300 rack systems on the tested inference workloads in both energy efficiency and response speed.. Topic tags: general web, openai, llm, agents, ai. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fake numbers, clic
OpenAI đang đặt cược vào một hướng đi ngày càng phổ biến trong ngành AI: tự thiết kế phần cứng cho những workloads quan trọng nhất. Công ty cho biết Jalapeño, chip suy luận tùy biến đầu tiên được phát triển cùng Broadcom, đã vượt các hệ thống rack Nvidia GB200 và GB300 trong những bài kiểm tra về tốc độ phản hồi và hiệu quả năng lượng. 4
7
Tuy nhiên, đây là các kết quả ban đầu do nhà sản xuất công bố, không phải một phép so sánh độc lập, toàn diện cho mọi workloads AI trong thực tế. Kết quả phụ thuộc vào mô hình, cấu hình hệ thống, phương pháp tính điện năng và kiểu tải được chọn.
Jalapeño đạt kết quả gì trước Nvidia?
OpenAI thử nghiệm Jalapeño với GPT‑OSS 120B, DeepSeek R1 670B và Kimi K2.5 1T. Trên cả ba mô hình, công ty báo cáo chip đạt:
- Nhiều hơn 1,5–1,9 lần khối lượng công việc AI trên mỗi watt ở mức thông lượng cực đại.
- Độ trễ đầu cuối thấp hơn 1,7–3,6 lần so với các hệ thống Nvidia dùng để đối chiếu.
- Trong những workloads tương tác cao, hiệu suất được OpenAI báo cáo cao hơn 2,1–4,1 lần.
4
GPT‑OSS 120B so với GB200
Khi chạy GPT‑OSS 120B, Jalapeño được so sánh với Nvidia GB200. OpenAI báo cáo:
- Thông lượng hỗn hợp cực đại trên mỗi kilowatt cao hơn 1,9 lần: 85.448 so với 44.960.
- Độ trễ đầu cuối thấp hơn 1,7 lần: 1,03 giây so với 1,80 giây.
- Thời gian tối thiểu giữa các token là 0,69 mili giây, tương đương khoảng 1.459 token/giây/người dùng; GB200 đạt 1,87 mili giây, tương đương 535 token/giây/người dùng.
Chỉ số token/giây/người dùng phản ánh cảm giác phản hồi trong các tác vụ tương tác: hệ thống tạo token liên tiếp càng nhanh thì câu trả lời có thể xuất hiện càng liền mạch.
DeepSeek R1 so với GB300
Với DeepSeek R1 ở định dạng MXFP4, Jalapeño được đối chiếu với GB300. Các con số OpenAI công bố gồm:
- Thông lượng hỗn hợp cực đại trên mỗi kilowatt cao hơn 1,7 lần: 19.641 so với 11.781.
- Độ trễ đầu cuối thấp hơn 3,6 lần: 1,65 giây so với 5,99 giây.
- Thời gian tối thiểu giữa các token là 1,43 mili giây, tương đương khoảng 700 token/giây/người dùng; GB300 đạt khoảng 169 token/giây/người dùng.
Kimi K2.5 so với GB300
Ở bài kiểm tra Kimi K2.5 MXFP4, OpenAI cho biết Jalapeño đạt thông lượng cực đại trên mỗi watt cao hơn 1,5 lần và độ trễ đầu cuối thấp hơn 3,4 lần. Ở mức thời gian tối thiểu giữa các token, hệ thống đạt khoảng 694 token/giây/người dùng, so với 182 token/giây/người dùng trên GB300. 4
Vì sao Jalapeño có thể đạt hiệu quả này?
Khác với GPU đa dụng được điều chỉnh để chạy AI, Jalapeño là bộ tăng tốc được thiết kế chuyên cho suy luận mô hình ngôn ngữ lớn. OpenAI phụ trách định hướng và thiết kế bộ tăng tốc; Broadcom đóng góp vào hiện thực hóa silicon và kết nối mạng; còn Celestica đảm nhiệm tích hợp bo mạch, rack và hệ thống. 1
Thiết kế rack được công bố sử dụng một miền kết nối lớn, cho phép workloads nằm trong cùng một hệ thống. Trạng thái của mô hình, bao gồm cả KV cache, được đặt và giữ tại chỗ nhằm giảm việc di chuyển dữ liệu giữa các chip cũng như hạn chế thời gian chờ do giao tiếp. 4
Jalapeño cũng không tách riêng tài nguyên cho hai giai đoạn prefill và decode. Cùng một nhóm tài nguyên tính toán, bộ nhớ và mạng được dùng cho cả hai. Đây là lựa chọn đáng chú ý vì prefill, tức xử lý prompt ban đầu, thường thiên về tính toán; còn decode, tức sinh từng token tiếp theo, phụ thuộc nhiều vào băng thông bộ nhớ. 4
Thông tin công khai về thông số đầy đủ của hệ thống vẫn còn hạn chế. Một báo cáo kỹ thuật mô tả hệ thống 128 chip với khoảng 1,7 exaFLOPS và 27 TB bộ nhớ HBM, nhưng bài viết benchmark của OpenAI không công bố đầy đủ danh mục linh kiện của một rack. 4
OpenAI nói AI đã hỗ trợ tạo ra Jalapeño trong chín tháng
OpenAI cho biết chip đi từ thiết kế ban đầu đến giai đoạn tape-out, tức bàn giao thiết kế cuối cho nhà máy sản xuất, chỉ trong chín tháng. Công ty xem đây là một chu kỳ đặc biệt nhanh đối với ASIC hiệu năng cao. 1
Các mô hình của OpenAI được sử dụng trong nhiều khâu như thiết kế, khảo sát phương án triển khai, đo đạc, xác minh, tối ưu mạch số học và lập trình. OpenAI cho biết Codex kết hợp GPT‑Astra đã giúp đưa ba mô hình open-weight trước đó chưa nằm trong kế hoạch lên mức hiệu năng cao trong vòng hai tháng.
Ở một số khối attention và mixture-of-experts của GPT‑OSS, các phiên bản triển khai do AI tạo ra nhanh hơn 1,5–1,8 lần so với mã do con người viết trước đó. Đây là số liệu ở cấp khối chức năng, không phải kết quả của toàn bộ mô hình. 4
Những giới hạn cần lưu ý khi đọc benchmark
Jalapeño được thiết kế cho suy luận, không phải huấn luyện. Vì vậy, OpenAI vẫn sẽ cần Nvidia, AMD và các bộ tăng tốc khác cho huấn luyện cũng như một phần năng lực suy luận. 4
6
Bài kiểm tra sử dụng InferenceX, bộ benchmark công khai của SemiAnalysis, với workloads một lượt gồm đầu vào danh nghĩa 8.000 token và đầu ra 1.000 token. Phép đo tính toàn bộ quá trình phục vụ yêu cầu, đồng thời so sánh các hệ thống ở mức trải nghiệm người dùng tương đương và chuẩn hóa theo công suất chip được công bố. 4
7
OpenAI liệt kê công suất package của Jalapeño là 700 watt, nhưng cho biết công suất đo được trong thời gian chạy ổn định ở các workloads này bằng hoặc thấp hơn 550 watt. Các hệ thống GB200 và GB300 lần lượt được mô hình hóa ở mức 1.200 và 1.400 watt. Do đó, lợi thế trên mỗi watt có thể thay đổi tùy workloads và cách tính công suất. 4
SemiAnalysis cho biết họ chứng kiến các lần chạy trong phòng thí nghiệm của OpenAI nhưng không tự thực hiện toàn bộ bộ benchmark. Đơn vị này cũng cảnh báo cấu hình InferenceX một lượt 8k/1k không kiểm tra các workloads tác nhân dài ngữ cảnh, nhiều lượt hội thoại, routing, prefix caching, quản lý cache hoặc cơ chế offload. Những yếu tố này có thể ảnh hưởng đáng kể đến hiệu suất khi triển khai sản phẩm thực tế. 4
Kết quả cũng chỉ phản ánh một thời điểm nhất định. GB200 và GB300 là các hệ thống thương mại thuộc thế hệ Blackwell, trong khi những nền tảng Nvidia mới hơn có thể trở thành đối thủ so sánh phù hợp hơn khi Jalapeño được triển khai rộng. Nvidia cũng công bố thông lượng DeepSeek R1 của GB300 theo phương pháp offline của MLPerf; các con số đó không nên được so sánh trực tiếp với chỉ số token/giây/người dùng trong tương tác của Jalapeño. 2
4
Jalapeño sẽ được triển khai thế nào?
OpenAI dự kiến đưa một số lượng giới hạn hệ thống Jalapeño vào hạ tầng điện toán của mình vào cuối năm 2026, sau đó mở rộng công suất trong năm 2027. Thế hệ thứ hai đang được phát triển sâu, còn thế hệ thứ ba đã bắt đầu hình thành. 4
6
Công ty hiện không có kế hoạch bán chip ra bên ngoài. Phó chủ tịch phụ trách phần cứng Richard Ho cho biết nhu cầu nội bộ quá lớn để OpenAI có thể tính đến việc cung cấp Jalapeño cho khách hàng bên ngoài. 6
Vì không xử lý bài toán huấn luyện, Jalapeño nhiều khả năng là công cụ bổ sung chứ chưa thể thay thế Nvidia hay AMD. OpenAI nói họ vẫn sẽ triển khai rộng các bộ tăng tốc của Nvidia và những đối tác khác, đặc biệt trong các hệ thống huấn luyện. 4
6
Ở cấp độ chiến lược, Jalapeño đưa OpenAI vào cùng cuộc đua tích hợp theo chiều dọc với Google, Amazon và Microsoft, những công ty đã phát triển chip AI nội bộ; Anthropic cũng từng cho biết họ đang xây dựng năng lực thiết kế chip. Dù vậy, tuyên bố lợi thế hiện tại của Jalapeño vẫn chỉ giới hạn ở suy luận mô hình ngôn ngữ lớn trên các cấu hình benchmark đã công bố. 6
Studio Global AI
Tiếp tục nghiên cứu của bạn
Trang này bao gồm câu trả lời dựa trên nguồn mà bạn có thể tiếp tục bên trong Studio Global.
Người ta cũng hỏi
Câu trả lời ngắn gọn cho "Jalapeño của OpenAI cho tốc độ phản hồi AI nhanh hơn, tiết kiệm điện hơn Nvidia" là gì?
OpenAI cho biết Jalapeño, chip tăng tốc tùy biến đầu tiên được phát triển cùng Broadcom, vượt các hệ thống Nvidia GB200 và GB300 trong những bài kiểm tra suy luận được công bố.
Những điểm chính cần xác nhận đầu tiên là gì?
OpenAI cho biết Jalapeño, chip tăng tốc tùy biến đầu tiên được phát triển cùng Broadcom, vượt các hệ thống Nvidia GB200 và GB300 trong những bài kiểm tra suy luận được công bố. Trên GPT‑OSS 120B, DeepSeek R1 670B và Kimi K2.5 1T, Jalapeño đạt nhiều hơn 1,5–1,9 lần khối lượng công việc AI trên mỗi watt và giảm 1,7–3,6 lần độ trễ đầu cuối so với hệ thống đối chiếu.
Tôi nên làm gì tiếp theo trong thực tế?
Ở chế độ có độ trễ thấp, OpenAI báo cáo Jalapeño đạt khoảng 1.459 token/giây/người dùng với GPT‑OSS 120B và khoảng 700 token/giây/người dùng với DeepSeek R1.
Nguồn
theverge.comOpenAI says its Jalapeño chip can power faster AI responses than the competition
rits.shanghai.nyu.eduOpenAI and Broadcom Unveil Jalapeño, a Custom LLM Inference ...
axios.comOpenAI says its Jalapeño chip bests Nvidia, others