AI 추론 속도 최대 93% 빨라진다…멀티버스 컴퓨팅-퀄컴 손잡다

② 기밀 금융 문서 RAG(검색 증강 생성) 챗봇:

• 응답 시간 최대 35% 단축
• 처리량 최대 54% 향상
• 메모리 사용량 최대 45% 감소
• 전력 소비 최대 14% 절감
• 정확도 손실 없음

특히 의료 사용 사례의 경우, 여러 외부 매체가 독립적으로 결과를 재확인하며 93% 응답 시간 단축, 45% 메모리 절감, 21% 전력 감소를 공식 확인했다 . 멀티버스 컴퓨팅 측은 더 최신 세대인 드래곤플라이 AI200/AI250 가속기에서 직접 구동할 경우 결과가 더욱 개선될 것으로 전망했다 .

동작 원리

멀티버스 컴퓨팅은 AI 모델이 실제 가속기에 배포되기 전에 모델 자체를 최적화(압축)한다. 이 과정에서 각 모델이 필요로 하는 연산량과 메모리 용량을 대폭 축소한다. 최적화된 모델은 기존 하드웨어에서 여유 공간을 확보해, 데이터센터 운영자가 새 가속기를 추가하거나 인프라를 확장하지 않고도 더 많은 추론 요청을 처리하거나 더 많은 모델을 동시에 실행할 수 있게 해준다 .

산업 전반의 패러다임 전환

이번 협력은 데이터센터 업계가 효율성 우선(Efficiency-First) AI 인프라로 근본적인 방향 전환을 하고 있음을 보여주는 구체적인 사례다. 주요 신호는 다음과 같다:

• 퀄컴의 효율성 DNA: 퀄컴은 모바일 및 IoT 시장에서 엄격한 전력·열 제약 내에서 최대 성능을 끌어내는 데 강점을 가진 기업이다. 이 원칙을 AI 데이터센터에 직접 적용한 것이다 .
• 하드웨어 차원의 혁신: 퀄컴 드래곤플라이 AI250은 HBC(High Bandwidth Compute, 고대역폭 컴퓨트) Gen 1을 최초 도입, 카드당 133TB/s의 유효 메모리 대역폭(AI200 대비 18배)을 제공한다. AI의 비용과 에너지 낭비를 초래하는 주요 요인인 추론 메모리 병목 현상을 정면 돌파하는 기술이다 .
• 규모 확장과 비용의 디커플링: AI 도입이 가속화될수록 운영자는 하드웨어·에너지·비용의 비례적 증가 없이도 배포 규모를 확장해야 한다. 효율적인 하드웨어와 최적화된 소프트웨어의 결합은 이를 위한 실질적 해법이다 .
• 업계의 명시적 검증: 두 회사는 이번 협력을 "규모 있는 성능, 비용, 에너지 효율성의 획기적 개선"으로 정의했다. 퀄컴의 디노 플로레(Dino Flore) 부사장은 "AI 도입이 엔터프라이즈와 클라우드 인프라 전반으로 확대됨에 따라 고객들은 더 뛰어난 효율성을 갖춘 고성능 솔루션을 필요로 한다"고 강조했다 .

이번 파트너십은 업계가 'GPU를 더 많이 투입하는' 사고방식에서 벗어나 와트당 성능(Performance-per-Watt) 과 총소유비용(TCO) 을 최우선 가치로 삼는 방향으로 전환하고 있음을 웅변한다. 소프트웨어와 하드웨어의 공동 최적화가 지속 가능한 AI 확장의 핵심 수단으로 자리잡는 분수령이 될 전망이다.