Câu trả lờiĐã xuất bản22 nguồn
Prism tăng tốc suy luận cho mô hình ra quyết định như thế nào?
StartLux giới thiệu Prism là engine suy luận mã nguồn mở được thiết kế riêng cho các mô hình ra quyết định của hãng. Prism thu hẹp phần tính điểm đầu ra, tái sử dụng dữ liệu chung giữa nhiều câu hỏi và dùng phép tính số nguyên để hướng tới kết quả nhất quán trong các cấu hình được hỗ trợ.
Đăng bởiBiên tập bằng GPT-6 LunaHình ảnh được tạo bằng GPT Image 2
Câu trả lời nghiên cứu
Bài học chính
- StartLux giới thiệu Prism là engine suy luận mã nguồn mở được thiết kế riêng cho các mô hình ra quyết định của hãng.
- Prism thu hẹp phần tính điểm đầu ra, tái sử dụng dữ liệu chung giữa nhiều câu hỏi và dùng phép tính số nguyên để hướng tới kết quả nhất quán trong các cấu hình được hỗ trợ.
- Hệ thống trước đó của StartLux dùng vLLM nhưng đã có prefix caching và chunked prefill; điểm khác biệt của Prism là tối ưu sâu hơn cho các tác vụ ra quyết định.
Prompt AI
openai.comCreate a landscape editorial hero image for this Studio Global article: What did StartLux announce with its October 22, 2026 GitHub release of Prism, which it describes as the first open-source inference engine b. Article summary: StartLux announced Prism’s GitHub release on October 22, 2026, presenting it as the first open-source inference engine designed specifically for decision models, rather than general-purpose chat generation. Its claimed i. Topic tags: general, general web. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fake numbers, clic
StartLux giới thiệu Prism là engine suy luận mã nguồn mở dành riêng cho các mô hình ra quyết định. Khác với chatbot thường tạo câu trả lời bằng văn xuôi mở, mô hình ra quyết định có thể trả về lựa chọn, nhãn phân loại hoặc xác suất cho từng phương án. Prism được thiết kế cho dạng đầu ra gọn và có cấu trúc này. StartLux cho biết engine giúp giảm độ trễ, tận dụng lại dữ liệu đầu vào dùng chung và tạo ra kết quả có thể tái lập; các con số hiệu năng hiện được công bố dựa trên thử nghiệm của chính công ty. 5
8
12
Prism xử lý loại tác vụ nào?
Các mô hình StartLux-Decision tạo ra kết quả quyết định theo định dạng có kiểu dữ liệu, thông qua API /v1/systemone, và có thể thực hiện bước suy luận trước khi trả lời. Prism hỗ trợ StartLux-Decision v1 và các mô hình v1.1 AutoThink; theo kho mã nguồn, v1.1 Instant hiện chưa được hỗ trợ. 8
11
Trước đó, StartLux triển khai v1.1 bằng vLLM. Cấu hình tham chiếu này đã bật prefix caching (tái sử dụng tiền tố đầu vào chung) và chunked prefill (xử lý phần đầu vào theo từng khối). Vì vậy, khác biệt của Prism không đơn giản là “có bộ nhớ đệm còn vLLM thì không”; Prism được tinh chỉnh cho các yêu cầu ra quyết định, trong đó câu trả lời thường ngắn và nhiều câu hỏi có thể cùng dựa trên một nguồn thông tin. 6
22
Bốn lựa chọn thiết kế của Prism
Chỉ tính điểm cho những phương án cần thiết
Với mô hình 27B, StartLux cho biết engine đa dụng có thể tính điểm khoảng 248.000 token ứng viên, trong khi một tác vụ ra quyết định có thể chỉ cần xét các chữ cái A–Z. Số ứng viên ở bước tính điểm đầu ra này tương đương khoảng 0,01% số lượng ban đầu. Con số đó không có nghĩa tổng lượng tính toán của toàn bộ quá trình suy luận giảm xuống còn 0,01%. 12
Tái sử dụng dữ liệu chung giữa nhiều câu hỏi
Cơ chế “xử lý theo rừng” của Prism sắp xếp chỉ dẫn chung, tài liệu tham chiếu chung và từng câu hỏi riêng thành các nhánh. Nhờ đó, phần xử lý dữ liệu dùng chung có thể được tái sử dụng thay vì tính lại từ đầu cho mỗi câu hỏi. Chẳng hạn, nhiều yêu cầu đánh giá cùng một phiếu hỗ trợ khách hàng có thể dùng chung nội dung phiếu đó. 5
23
Dùng phép tính số nguyên để tăng tính nhất quán
Prism dùng phép toán ma trận INT8 và cộng dồn bằng INT32. StartLux nói cách này giúp xác suất đầu ra nhất quán đến từng bit giữa các cấu hình batching và nhiều GPU được hỗ trợ. Đây là tuyên bố về runtime Prism trong các cấu hình cụ thể, không đồng nghĩa đầu ra INT8 luôn giống hệt BF16 trong mọi trường hợp. 8
19
Sắp lịch tác vụ suy luận dài cạnh các yêu cầu ngắn
Mô hình có thể trả lời ngay hoặc dành thời gian suy luận trước. Thiết kế phục vụ của Prism nhằm xếp các tác vụ suy luận dài xen kẽ với yêu cầu cần câu trả lời ngắn, thay vì để toàn bộ yêu cầu ngắn phải chờ tác vụ dài hoàn tất. Kết quả được công bố phản ánh cấu hình mô hình và hệ thống phục vụ đã thử nghiệm, chứ không bảo đảm thời gian chờ trong mọi môi trường. 3
23
Các benchmark StartLux công bố
StartLux báo cáo những kết quả dưới đây với các mô hình, phần cứng và thiết lập thử nghiệm cụ thể:
- Một câu hỏi ngắn trên một H200: độ trễ giảm từ 53,1 ms xuống 19,0 ms, tương đương nhanh hơn khoảng 2,8 lần.
12
14
- Ba câu hỏi cùng dựa trên một tài liệu: độ trễ được báo cáo giảm từ 92,9 ms xuống 17,4 ms, tương đương khoảng 5,3 lần.
- JevBench, gồm 231 câu hỏi: độ trễ trung bình được báo cáo là 41,0 ms với Prism, so với 75,6 ms với SGLang, 112,7 ms với vLLM và 589 ms với llama.cpp.
- Bốn H200 chạy song song theo kiểu data parallel: các báo cáo liên quan đến StartLux nêu mức thông lượng 121 yêu cầu/giây, khoảng 3,92 lần so với một GPU. Ở chế độ tensor parallel, độ trễ cho một câu hỏi được báo cáo giảm từ 41 ms xuống 29 ms.
18
- So sánh độ chính xác: trên bảy bộ đánh giá với 12.351 quyết định, độ chính xác trung bình được báo cáo là 92,94% với Prism INT8 và 92,97% với BF16, chênh lệch 0,03 điểm phần trăm. Mức trung bình gần nhau không chứng minh rằng từng câu trả lời đều giống hệt nhau.
19
- Chạy trên GPU phổ thông: kho mã nguồn cho biết mô hình 27B ở dạng 4-bit có thể chạy trên RTX 5090 với 32 GB bộ nhớ GPU; bài viết về đợt ra mắt nêu kích thước bản nén là 16,55 GB.
8
Cần đọc các con số này ra sao?
Đây là số liệu do nhà cung cấp công bố, phụ thuộc vào khối lượng công việc và cấu hình thử nghiệm; chúng không chứng minh Prism sẽ nhanh hơn các engine khác trong mọi môi trường. Tài liệu benchmark của StartLux mô tả mô hình, phần cứng và workload được thử, giúp người đọc có cơ sở đánh giá hoặc tái hiện phép so sánh. 1
Tài liệu benchmark đề cập StartLux-Decision v1 ở các kích thước 4B, 9B và 27B. Trong khi đó, kho Prism liệt kê hỗ trợ cho v1 và v1.1 AutoThink, còn v1.1 Instant chưa được hỗ trợ. Vì vậy, không nên xem các kết quả này như một benchmark duy nhất bao quát mọi biến thể mô hình. 1
8
11
Cuối cùng, cụm từ “engine mã nguồn mở đầu tiên dành cho mô hình ra quyết định” là cách StartLux mô tả Prism, chưa phải kết luận được xác lập độc lập trên toàn ngành. Tương tự, tuyên bố kết quả nhất quán đến từng bit chỉ áp dụng cho các cấu hình Prism được hỗ trợ mà công ty nêu. 5
8
Studio Global AI
Tiếp tục nghiên cứu của bạn
Trang này bao gồm câu trả lời dựa trên nguồn mà bạn có thể tiếp tục bên trong Studio Global.
Người ta cũng hỏi
Câu trả lời ngắn gọn cho "Prism tăng tốc suy luận cho mô hình ra quyết định như thế nào?" là gì?
StartLux giới thiệu Prism là engine suy luận mã nguồn mở được thiết kế riêng cho các mô hình ra quyết định của hãng.
Những điểm chính cần xác nhận đầu tiên là gì?
StartLux giới thiệu Prism là engine suy luận mã nguồn mở được thiết kế riêng cho các mô hình ra quyết định của hãng. Prism thu hẹp phần tính điểm đầu ra, tái sử dụng dữ liệu chung giữa nhiều câu hỏi và dùng phép tính số nguyên để hướng tới kết quả nhất quán trong các cấu hình được hỗ trợ.
Tôi nên làm gì tiếp theo trong thực tế?
Hệ thống trước đó của StartLux dùng vLLM nhưng đã có prefix caching và chunked prefill; điểm khác biệt của Prism là tối ưu sâu hơn cho các tác vụ ra quyết định.
Nguồn
163.comDeepSeek之后，StartLux再来：开源首个决策模型推理引擎，推理快至5.3倍