답변게시됨22 소스
StartLux Prism은 무엇을 바꾸고, 실제로 얼마나 빨라졌나
StartLux는 자사 결정 모델에 맞춘 오픈소스 추론 엔진 Prism을 공개했다. Prism은 선택지에 한정해 답변 후보를 채점하고, 여러 질문이 공유하는 입력을 재사용하며, 지원 구성에서 재현 가능한 결과를 내도록 설계됐다.
게시자GPT-6 Luna로 편집GPT Image 2로 이미지 생성
연구 답변
주요 시사점
- StartLux는 자사 결정 모델에 맞춘 오픈소스 추론 엔진 Prism을 공개했다.
- Prism은 선택지에 한정해 답변 후보를 채점하고, 여러 질문이 공유하는 입력을 재사용하며, 지원 구성에서 재현 가능한 결과를 내도록 설계됐다.
- 기존 v1.1 배포도 vLLM의 프리픽스 캐싱과 청크 프리필을 사용했다. Prism의 차별점은 단순히 캐시를 추가한 것이 아니라 결정 작업에 맞춰 추론을 최적화한 데 있다.
- StartLux는 H200 한 장에서 짧은 질문 처리 시간이 53.1ms에서 19.0ms로 줄었다고 보고했다. 다만 공개된 속도 비교는 특정 모델·하드웨어·테스트 조건에 따른 회사 측 측정치다.
AI 프롬프트
openai.comCreate a landscape editorial hero image for this Studio Global article: What did StartLux announce with its October 22, 2026 GitHub release of Prism, which it describes as the first open-source inference engine b. Article summary: StartLux announced Prism’s GitHub release on October 22, 2026, presenting it as the first open-source inference engine designed specifically for decision models, rather than general-purpose chat generation. Its claimed i. Topic tags: general, general web. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fake numbers, clic
StartLux는 2026년 10월 22일 오픈소스 추론 엔진 Prism을 공개했다. Prism은 자유로운 문장을 생성하는 일반 대화형 모델보다, 선택지 고르기·범주 분류·확률 산출처럼 정해진 형식으로 답하는 ‘결정 모델’에 맞춰 설계됐다. 회사는 지연 시간을 줄이고, 여러 질문이 공유하는 입력을 재사용하며, 지원되는 구성에서 결과를 재현할 수 있다고 설명한다. 다만 성능 수치는 StartLux가 자체 테스트에서 얻은 결과다. 5
8
12
Prism은 어떤 작업에 맞춰졌나
StartLux-Decision 모델은 선택 항목이나 분류값처럼 형식이 정해진 결정을 내린다. 필요하면 답변 전에 추론 과정을 거칠 수도 있다. Prism은 /v1/systemone API를 통해 StartLux-Decision v1과 v1.1 AutoThink 모델을 제공한다. 저장소에 따르면 v1.1 Instant 모델은 아직 지원하지 않는다. 8
11
기존 v1.1 배포 구성은 vLLM을 사용했다. 다만 기준 설정에도 프리픽스 캐싱과 청크 프리필이 이미 적용돼 있었다. 따라서 vLLM이 공통 입력을 전혀 재사용하지 못했다기보다, Prism이 결정 요청의 특성에 맞춰 처리 방식을 더 세밀하게 조정했다는 점이 차이다. 특히 답변은 짧지만 같은 자료를 바탕으로 여러 판단을 내려야 하는 경우를 겨냥한다. 6
22
설계의 핵심: 후보는 좁히고, 공통 입력은 재사용
1. 실제 선택지에 해당하는 답변만 채점
StartLux에 따르면 27B 모델을 범용 추론 엔진으로 실행할 경우 약 24만 개 후보 토큰을 채점하지만, 결정 작업에서는 A부터 Z까지의 선택지만 검토하면 되는 경우가 있다. 이 출력 채점 단계의 후보 수가 약 0.01%로 줄어든다는 뜻이다. 모델의 전체 추론 연산량이 0.01%가 된다는 의미는 아니다. 12
2. 여러 질문이 공유하는 입력을 한 번 활용
Prism은 ‘포리스트 방식’ 배칭으로 공통 지시와 참고 자료, 개별 질문을 묶어 공통 입력에 드는 계산을 재사용한다. 예를 들어 고객 문의 한 건을 두고 담당 팀, 당일 답변 필요 여부, 장애 심각도를 각각 판단한다면, 질문마다 문의 내용을 처음부터 다시 처리하는 일을 줄이는 방식이다. 5
23
3. 정수 연산으로 결과 재현성 추구
Prism은 INT8 행렬 연산의 누적값을 INT32로 계산한다. StartLux는 이 방식으로 지원되는 배치 및 멀티 GPU 구성에서 출력 확률을 비트 단위로 재현할 수 있다고 설명한다. 이는 Prism이 지원하는 런타임 구성에 관한 주장이지, INT8 출력이 모든 경우에 BF16 결과와 같다는 뜻은 아니다. 8
19
4. 추론 요청과 짧은 답변 요청을 함께 처리
결정 모델은 곧바로 답하거나, 먼저 추론한 뒤 답할 수 있다. Prism의 서빙 설계는 추론에 시간이 걸리는 요청과 짧은 답변 요청을 함께 배치해, 긴 추론 작업이 짧은 요청을 모두 지연시키지 않도록 하는 데 초점을 둔다. 공개된 성능 수치는 이 모델과 서빙 구성을 조합해 시험한 결과로 봐야 하며, 모든 환경에서 대기 시간이 줄어든다는 보장은 아니다. 3
23
StartLux가 공개한 성능 수치
StartLux는 특정 모델과 하드웨어, 테스트 조건에서 다음 결과를 보고했다.
- H200 한 장에서 짧은 질문 1개: 지연 시간이 53.1ms에서 19.0ms로 줄어 약 2.8배 빨라졌다고 밝혔다.
12
14
- 같은 자료를 바탕으로 질문 3개: 보고된 처리 시간이 92.9ms에서 17.4ms로 감소해 약 5.3배 빨라졌다.
- JevBench 231개 질문: 평균 지연 시간은 Prism 41.0ms, SGLang 75.6ms, vLLM 112.7ms, llama.cpp 589ms로 보고됐다.
- H200 4장, 데이터 병렬 구성: 초당 121건을 처리해 단일 GPU 대비 약 3.92배 처리량을 기록했다고 관련 보도는 전했다. 텐서 병렬 구성에서는 질문 1개의 지연 시간이 41ms에서 29ms로 줄었다고 보고됐다.
18
- 정확도 비교: 평가 세트 7개, 총 12,351건의 결정을 대상으로 한 평균 정확도는 Prism INT8 92.94%, BF16 **92.97%**였다. 차이는 0.03%포인트다. 전체 평균이 비슷하다고 해서 개별 답변까지 모두 같다는 뜻은 아니다.
19
- 일반 소비자용 GPU에서 실행: 저장소는 4비트 27B 모델을 32GB RTX 5090 한 장에서 실행할 수 있다고 설명한다. 출시 보도에 따르면 압축 모델 용량은 16.55GB다.
8
수치를 읽을 때 유의할 점
위 수치는 특정 작업과 구성에서 얻은 업체 자체 측정치다. 모든 배포 환경에서 Prism이 다른 엔진보다 빠르다는 독립적인 증거로 볼 수는 없다. 다만 StartLux는 테스트 모델과 하드웨어, 작업 조건을 벤치마크 문서에 공개해 비교 조건을 살펴보거나 재현할 수 있도록 했다. 1
벤치마크 문서는 StartLux-Decision v1의 4B·9B·27B 모델을 다룬다. Prism 저장소에는 v1과 v1.1 AutoThink 지원이 기재돼 있지만, v1.1 Instant는 아직 지원 대상이 아니다. 따라서 공개된 결과를 모든 모델 변형에 공통으로 적용되는 단일 벤치마크처럼 받아들여서는 안 된다. 1
8
11
마지막으로 Prism을 ‘결정 모델용 첫 오픈소스 엔진’이라고 부르는 것은 StartLux의 설명이다. 비트 단위로 동일한 결과를 낸다는 주장 역시 회사가 밝힌 지원 구성에 한정해 해석하는 것이 적절하다. 5
8
Studio Global AI
연구를 계속하세요
이 페이지에는 Studio Global 내에서 계속할 수 있는 소스 기반 답변이 포함되어 있습니다.
사람들은 또한 묻습니다.
"StartLux Prism은 무엇을 바꾸고, 실제로 얼마나 빨라졌나"에 대한 짧은 대답은 무엇입니까?
StartLux는 자사 결정 모델에 맞춘 오픈소스 추론 엔진 Prism을 공개했다.
먼저 검증할 핵심 포인트는 무엇인가요?
StartLux는 자사 결정 모델에 맞춘 오픈소스 추론 엔진 Prism을 공개했다. Prism은 선택지에 한정해 답변 후보를 채점하고, 여러 질문이 공유하는 입력을 재사용하며, 지원 구성에서 재현 가능한 결과를 내도록 설계됐다.
실무에서는 다음으로 무엇을 해야 합니까?
기존 v1.1 배포도 vLLM의 프리픽스 캐싱과 청크 프리필을 사용했다. Prism의 차별점은 단순히 캐시를 추가한 것이 아니라 결정 작업에 맞춰 추론을 최적화한 데 있다.
출처
163.comDeepSeek之后，StartLux再来：开源首个决策模型推理引擎，推理快至5.3倍