Câu trả lờiĐã xuất bản19 nguồn
Jalapeño của OpenAI cho biết có thể vượt Nvidia GB200 và GB300 trong tác vụ suy luận AI
OpenAI cho biết Jalapeño tạo ra nhiều hơn 1,5–1,9 lần lượng công việc AI trên mỗi watt và giảm 1,7–3,6 lần độ trễ đầu cuối so với các hệ thống Nvidia GB200, GB300 được dùng để đối chiếu. Với DeepSeek R1, Jalapeño đạt khoảng 700 token/giây/người dùng, so với 169 token/giây/người dùng trên GB300 ở điều kiện thời gian...
Đăng bởiBiên tập bằng GPT-5.6 LunaHình ảnh được tạo bằng GPT Image 1.5
Câu trả lời nghiên cứu
Bài học chính
- OpenAI cho biết Jalapeño tạo ra nhiều hơn 1,5–1,9 lần lượng công việc AI trên mỗi watt và giảm 1,7–3,6 lần độ trễ đầu cuối so với các hệ thống Nvidia GB200, GB300 được dùng để đối chiếu.
- Với DeepSeek R1, Jalapeño đạt khoảng 700 token/giây/người dùng, so với 169 token/giây/người dùng trên GB300 ở điều kiện thời gian giữa các token thấp nhất.
- Jalapeño được thiết kế cho suy luận, không phải huấn luyện; OpenAI dự kiến triển khai giới hạn trong hạ tầng nội bộ vào cuối năm 2026 và chưa có kế hoạch bán chip ra bên ngoài.
Prompt AI
openai.comCreate a landscape editorial hero image for this Studio Global article: What did OpenAI’s custom Jalapeño inference chip, co-developed with Broadcom, demonstrate in its latest benchmarks against Nvidia’s GB200 an. Article summary: OpenAI says Jalapeño, its first Broadcom co-developed custom accelerator, beats the compared Nvidia GB200/GB300 rack systems on the tested inference workloads in both energy efficiency and response speed. These are early. Topic tags: general, documentation, general web, education, user generated. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text,
OpenAI cho biết chip tăng tốc tùy biến đầu tiên của mình, Jalapeño, đã cho kết quả đáng chú ý trong các thử nghiệm suy luận AI mới nhất: xử lý được nhiều công việc hơn trên mỗi watt, phản hồi nhanh hơn và đạt tốc độ phát token tương tác cao hơn các hệ thống Nvidia GB200 và GB300 dùng làm mốc so sánh. Công ty nói lợi thế này xuất hiện trên GPT‑OSS 120B, DeepSeek R1 và Kimi K2.5 1T. 3
4
Tuy nhiên, cần đặt tuyên bố này vào đúng bối cảnh. Đây là những kết quả ban đầu do chính OpenAI công bố, được đo trên một cấu hình InferenceX cụ thể — chưa phải phép so sánh độc lập, toàn diện cho mọi loại tải AI trong môi trường sản xuất, cũng không phản ánh chắc chắn hiệu năng của các nền tảng Nvidia hiện tại và tương lai. 4
7
Jalapeño đạt kết quả gì trong bài kiểm tra?
Trên ba mô hình được thử nghiệm, OpenAI báo cáo Jalapeño tạo ra nhiều hơn 1,5–1,9 lần lượng công việc AI trên mỗi watt ở mức thông lượng đỉnh, đồng thời giảm 1,7–3,6 lần độ trễ đầu-cuối so với các hệ thống đối chiếu. Với các tác vụ đòi hỏi phản hồi đặc biệt nhanh, công ty cho biết mức cải thiện đạt 2,1–4,1 lần. 3
Các kết quả cụ thể theo từng mô hình gồm:
GPT‑OSS 120B so với Nvidia GB200: Jalapeño đạt mức 85.448 đơn vị thông lượng hỗn hợp đỉnh trên mỗi kilowatt, so với 44.960 của GB200. Độ trễ đầu-cuối được báo cáo là 1,03 giây, thấp hơn mức 1,80 giây của GB200. Ở chỉ số thời gian tối thiểu giữa các token, Jalapeño đạt 0,69 mili giây, tương đương khoảng 1.459 token/giây/người dùng, so với 535 token trên GB200.
4
DeepSeek R1 MXFP4 so với Nvidia GB300: Jalapeño đạt 19.641 đơn vị thông lượng hỗn hợp đỉnh trên mỗi kilowatt, cao hơn mức 11.781 của GB300. Độ trễ đầu-cuối là 1,65 giây, so với 5,99 giây. Ở điều kiện thời gian tối thiểu giữa các token, OpenAI báo cáo khoảng 700 token/giây/người dùng, trong khi GB300 đạt 169 token/giây/người dùng.
6
Kimi K2.5 MXFP4 so với Nvidia GB300: OpenAI báo cáo Jalapeño có thông lượng đỉnh trên mỗi kilowatt cao hơn 1,5 lần, độ trễ đầu-cuối thấp hơn 3,4 lần và đạt khoảng 694 token/giây/người dùng, so với 182 token trên GB300.
Chỉ số “token/giây/người dùng” phản ánh mức độ tương tác: một yêu cầu riêng lẻ nhận được token mới nhanh đến đâu, thay vì chỉ đo tổng số token mà cả một giá máy chủ có thể tạo ra khi xử lý nhiều yêu cầu song song. Đây là khác biệt quan trọng với chatbot, công cụ lập trình và các ứng dụng tác tử AI, nơi cảm giác phản hồi nhanh là một phần trực tiếp của trải nghiệm sản phẩm.
Vì sao chip chuyên dụng có thể nhanh hơn GPU đa dụng?
Jalapeño được thiết kế riêng cho suy luận mô hình ngôn ngữ lớn (LLM inference) — tức chạy một mô hình đã được huấn luyện — thay vì là GPU đa dụng được điều chỉnh để phục vụ cả huấn luyện lẫn suy luận. OpenAI thiết kế kiến trúc, Broadcom đảm nhiệm triển khai silicon và mạng kết nối, còn Celestica đóng góp năng lực thiết kế bo mạch, giá máy và tích hợp hệ thống. 17
32
Thiết kế ở quy mô giá máy sử dụng một miền mạng kết nối lớn, nhằm giữ một tác vụ trong cùng hệ thống. OpenAI cho biết hệ thống ưu tiên đặt và duy trì trạng thái mô hình, bao gồm KV cache, ở cục bộ khi có thể. Cách làm này giúp giảm việc di chuyển dữ liệu giữa các chip và hạn chế tình trạng chờ giao tiếp làm chậm quá trình sinh câu trả lời. 4
6
Jalapeño cũng không chia cứng tài nguyên thành các cụm riêng cho hai giai đoạn prefill và decode. Thay vào đó, OpenAI mô tả tài nguyên tính toán, bộ nhớ và mạng là có thể phân bổ linh hoạt cho cả hai giai đoạn. Prefill xử lý phần prompt và tương đối nặng về tính toán; decode tạo câu trả lời từng token một, thường bị giới hạn bởi việc di chuyển dữ liệu và băng thông bộ nhớ. 4
6
Thông tin kỹ thuật công khai hiện vẫn chưa đầy đủ. Một mô tả kỹ thuật đề cập hệ thống 128 chip với khoảng 1,7 exaFLOPS và 27 TB bộ nhớ HBM, nhưng bài công bố benchmark của OpenAI không đưa ra đầy đủ danh mục linh kiện của cả giá máy hoặc đủ chi tiết để bên ngoài tái lập độc lập mọi kết quả. 4
OpenAI nói AI đã hỗ trợ thiết kế Jalapeño
OpenAI cho biết Jalapeño đi từ thiết kế ban đầu đến giai đoạn tape-out — thời điểm hoàn tất thiết kế để chuyển sang sản xuất — chỉ trong chín tháng, một chu kỳ đặc biệt ngắn đối với bộ tăng tốc tùy biến cao cấp. 17
21
Công ty cũng cho biết các mô hình AI của mình đã hỗ trợ quá trình khám phá kiến trúc, triển khai, đo lường, xác minh, tối ưu mạch số học và lập trình. OpenAI nói Codex kết hợp với GPT‑Astra đã giúp đưa ba mô hình trọng số mở trước đó chưa nằm trong kế hoạch lên mức hiệu năng cao trong vòng hai tháng.
Trên một số khối attention và mixture-of-experts của GPT‑OSS, công ty cho biết các triển khai do AI tạo ra nhanh hơn 1,5–1,8 lần so với triển khai do con người viết trước đó. Dù vậy, các con số này chỉ áp dụng cho những khối được chọn, không phải kết quả phục vụ của toàn bộ mô hình. 4
Những giới hạn cần lưu ý
Lợi thế được nêu trong tiêu đề của Jalapeño nên được đọc cùng các điều kiện đo lường đi kèm.
Đây là chip suy luận, không phải GPU huấn luyện
Jalapeño hướng tới việc phục vụ các mô hình đã hoàn tất huấn luyện. Nó không được thiết kế để huấn luyện mô hình, vì vậy OpenAI dự kiến vẫn tiếp tục dùng các bộ tăng tốc của Nvidia, AMD và những đối tác khác cho huấn luyện cũng như một phần năng lực suy luận. 4
6
Nói cách khác, Jalapeño là một nền tảng chuyên dụng bổ sung cho hạ tầng OpenAI, chứ chưa phải sản phẩm thay thế toàn diện cho các hệ thống GPU được dùng trong nhiều loại tải khác nhau.
Bài test sử dụng một hồ sơ phục vụ tương đối hẹp
Phép so sánh dùng benchmark InferenceX công khai của SemiAnalysis, với các yêu cầu một lượt danh nghĩa gồm 8.000 token đầu vào và 1.000 token đầu ra. Bài test đo toàn bộ quá trình phục vụ yêu cầu, cân bằng các hệ thống theo trải nghiệm người dùng và chuẩn hóa kết quả dựa trên mức công suất chip được công bố. 4
7
SemiAnalysis cho biết họ đã chứng kiến các lần chạy tại phòng thí nghiệm của OpenAI nhưng không tự thực hiện toàn bộ bộ benchmark. Đơn vị này cũng cảnh báo cấu hình thử nghiệm không đánh giá các tác vụ tác tử có ngữ cảnh dài hoặc nhiều lượt, hoạt động định tuyến, prefix caching, quản lý cache hay cơ chế offload. Những lựa chọn về phần mềm và cách phục vụ có thể làm thay đổi đáng kể hiệu năng trong thực tế. 6
Cách tính điện năng ảnh hưởng đến kết quả trên mỗi watt
OpenAI công bố Jalapeño có công suất package 700 watt và cho biết công suất đo được khi chạy ổn định ở các workload thử nghiệm bằng hoặc dưới 550 watt. Trong khi đó, phép đối chiếu sử dụng các mức công suất mô phỏng 1.200 watt cho GB200 và 1.400 watt cho GB300. Vì vậy, lợi thế trên mỗi watt phụ thuộc một phần vào loại workload, điểm đo và phương pháp tính công suất. 4
So sánh với Nvidia chỉ phản ánh một thời điểm
Các bài test so sánh Jalapeño với những kết quả GB200 hoặc GB300 tốt nhất có sẵn tại thời điểm đó. Đến khi Jalapeño được triển khai trên quy mô lớn, các hệ thống Nvidia mới hơn có thể là đối thủ phù hợp hơn.
Nvidia cũng công bố kết quả DeepSeek R1 trên GB300 bằng phương pháp offline của MLPerf, khác với phương pháp đo tương tác của InferenceX. Vì vậy, không nên đặt trực tiếp các con số đó cạnh chỉ số token/người dùng tương tác của Jalapeño. 1
2
4
Kế hoạch triển khai và cuộc đua tự chủ phần cứng
OpenAI dự kiến triển khai giới hạn Jalapeño trong hạ tầng tính toán của chính mình vào cuối năm 2026, sau đó mở rộng công suất trong năm 2027. Công ty cho biết thế hệ thứ hai đang được phát triển sâu, còn thế hệ thứ ba đã bắt đầu định hình. 4
6
Hiện Jalapeño là nền tảng nội bộ, chưa phải con chip mà các doanh nghiệp bên ngoài có thể mua hoặc thuê. Richard Ho, lãnh đạo mảng phần cứng của OpenAI, cho biết nhu cầu nội bộ quá cao để công ty tính đến việc bán ra bên ngoài. 6
Do đó, chiến lược trước mắt là bổ sung, chứ chưa lập tức loại bỏ, phần cứng của Nvidia và AMD. OpenAI vẫn cần các bộ tăng tốc đa dụng cho huấn luyện, và hạ tầng tương lai của công ty nhiều khả năng sẽ tiếp tục gồm nhiều loại chip khác nhau.
OpenAI không phải công ty duy nhất đi theo hướng tích hợp dọc này. Google đã phát triển TPU cho cả huấn luyện và suy luận; Amazon và Microsoft đều có chip AI nội bộ; Anthropic cũng từng mô tả nỗ lực phát triển silicon tùy biến. 6
Kết luận: Jalapeño đã “đánh bại Nvidia” chưa?
Các kết quả ban đầu cho thấy một bộ tăng tốc được tối ưu cho workload cụ thể có thể vượt hệ thống đa dụng ở những chỉ số quan trọng với việc phục vụ LLM tương tác: hiệu quả năng lượng, thời gian phản hồi đầu-cuối và số token mà mỗi người dùng nhận được.
Nhưng dữ liệu hiện có ủng hộ một kết luận hẹp hơn câu nói “OpenAI đã đánh bại Nvidia”. Lợi thế được báo cáo chỉ áp dụng cho một số mô hình, một workload InferenceX cụ thể và các cấu hình GB200, GB300 dùng để so sánh. Hiệu năng của Jalapeño trên lưu lượng sản xuất đa dạng hơn, tác vụ tác tử có ngữ cảnh dài, các ngăn xếp phần mềm khác, workload gần với huấn luyện và những hệ thống Nvidia xuất hiện trước khi OpenAI mở rộng triển khai vẫn cần được kiểm chứng.
Studio Global AI
Tiếp tục nghiên cứu của bạn
Trang này bao gồm câu trả lời dựa trên nguồn mà bạn có thể tiếp tục bên trong Studio Global.
Người ta cũng hỏi
Câu trả lời ngắn gọn cho "Jalapeño của OpenAI cho biết có thể vượt Nvidia GB200 và GB300 trong tác vụ suy luận AI" là gì?
OpenAI cho biết Jalapeño tạo ra nhiều hơn 1,5–1,9 lần lượng công việc AI trên mỗi watt và giảm 1,7–3,6 lần độ trễ đầu cuối so với các hệ thống Nvidia GB200, GB300 được dùng để đối chiếu.
Những điểm chính cần xác nhận đầu tiên là gì?
OpenAI cho biết Jalapeño tạo ra nhiều hơn 1,5–1,9 lần lượng công việc AI trên mỗi watt và giảm 1,7–3,6 lần độ trễ đầu cuối so với các hệ thống Nvidia GB200, GB300 được dùng để đối chiếu. Với DeepSeek R1, Jalapeño đạt khoảng 700 token/giây/người dùng, so với 169 token/giây/người dùng trên GB300 ở điều kiện thời gian giữa các token thấp nhất.
Tôi nên làm gì tiếp theo trong thực tế?
Jalapeño được thiết kế cho suy luận, không phải huấn luyện; OpenAI dự kiến triển khai giới hạn trong hạ tầng nội bộ vào cuối năm 2026 và chưa có kế hoạch bán chip ra bên ngoài.
Nguồn
openai.comJalapeño’s first results show industry-leading speed and efficiency in AI inference
techcrunch.comOpenAI’s Jalapeño chip is built for fast inference at scale, benchmarks show | TechCrunch