AMD, 메타의 Muse Glimmer 30B 로컬 지원 공식 확인

AMD 하드웨어에서의 성능 벤치마크

AMD는 최신 하드웨어에서 Muse Glimmer 30B에 대한 예비 성능 벤치마크를 공개했습니다. 테스트는 윈도우 환경에서 Vulkan 백엔드와 dFlash 추측 디코딩을 사용하는 llama.cpp 프로젝트를 기반으로 진행되었습니다 .

• AMD Ryzen AI Max+ 395 프로세서: 128GB 통합 메모리 시스템에서 초당 최대 24토큰 .
• 단일 AMD Radeon AI PRO R9700 GPU: dFlash 추측 디코딩 활성화 시 초당 최대 53토큰 .

이는 AMD의 자체 초기 테스트 결과로, 실제 성능은 시스템 구성, 냉각 및 작업 부하에 따라 달라질 수 있습니다 .

이 모델은 4비트 양자화(K-Quant-Dynamic)를 사용하여 전체 정밀도 기준 55GB를 훨씬 넘는 메모리 사용량을 약 18~20GB로 압축했습니다 . 덕분에 모델 가중치, KV 캐시 및 인코더를 24GB 또는 32GB VRAM을 갖춘 단일 소비자 GPU에 동시에 로드할 수 있습니다 . 메타의 자체 테스트에 따르면, 이러한 수준의 양자화는 '에이전트 작업에서 성능 저하가 거의 또는 전혀 없다'고 합니다 .

개발자 도구 및 통합 경로

AMD와 파트너들은 개발자들이 Muse Glimmer를 즉시 사용할 수 있도록 여러 가지 즉각적인 경로를 제공합니다.

LM Studio 바이오닉

LM Studio는 메타와 직접 협력하여 LM Studio 바이오닉 데스크탑 앱에서 당일 지원을 제공합니다 . 사용자는 앱 내 카탈로그에서 몇 번의 클릭으로 모델을 다운로드하고 로컬에서 실행할 수 있습니다. 가장 작은 Muse Glimmer 변형이라도 최소 26GB의 RAM이 필요합니다 . LM Studio는 윈도우와 리눅스 모두에서 사용 가능하며, AMD 로컬 AI 생태계의 핵심 도구입니다 .

AMD 레모네이드 서버

AMD의 자체 오픈소스 로컬 AI 서버인 레모네이드가 주요 통합 경로로 자리 잡고 있습니다 . 레모네이드는 업계 표준인 오픈AI API를 통해 로컬에서 실행되는 모델을 노출하므로, 오픈AI와 작동하는 모든 기존 애플리케이션을 로컬 Muse Glimmer 인스턴스와 즉시 연동할 수 있습니다 . 이는 단일 경량 C++ 패키지로 텍스트 생성, 이미지 생성, 오디오 모델을 지원하며 윈도우, 리눅스, macOS 및 Docker에서 실행됩니다 .

광범위한 생태계

LM Studio와 레모네이드 외에도 Muse Glimmer는 출시와 동시에 광범위한 생태계 지원을 받고 있습니다:

• 허깅 페이스 트랜스포머: 공식 모델 가중치는 meta-models/Muse-Glimmer-30B에서 아파치 2.0 라이선스로 호스팅됩니다 .
• llama.cpp: Vulkan 백엔드를 통한 AMD GPU 가속의 기본 런타임 .
• Unsloth: 추론 및 미세 조정을 지원하며, 20GB VRAM에서 전체 미세 조정이 가능합니다 .
• vLLM 및 SGLang: 높은 처리량의 추론 서빙 .
• Ollama: 버전 0.32.7부터 당일 지원 .
• ExecuTorch 및 MLX: 온디바이스 및 Apple Silicon 배포용 .

이러한 광범위한 도구 지원은 개발자가 단일 런타임에 종속되지 않고 자신의 배포 시나리오에 가장 적합한 스택을 선택할 수 있음을 의미합니다 .

전략적 제안: 'Agentic PC'와 클라우드 독립적 AI

AMD는 Muse Glimmer와 자사 하드웨어의 결합을 'Agentic PC의 다음 단계'라고 공식적으로 명명했습니다 . 그 전략적 주장은 세 가지입니다:

1. 프라이버시 및 데이터 주권

추론을 로컬 하드웨어에서 완전히 실행하면 민감한 데이터(문서, 코드, 개인 정보)가 사용자 기기를 떠나지 않습니다. 타사 서버로의 API 호출이 없고, 클라우드 제공업체에 의한 데이터 로깅이 없으며, 네트워크 연결에 의존하지 않습니다 . 기밀 데이터를 다루는 기업 사용 사례에서 이는 결정적인 장점입니다.

2. 지속적 추론 비용 제로

하드웨어를 구매하면 로컬 추론에 토큰당 비용이 들지 않습니다. API 사용료, 추론 엔드포인트 구독료, 가변적인 클라우드 컴퓨팅 비용이 없습니다 . 연속적인 에이전트 루프를 실행하거나 많은 배치 작업을 수행하는 개발자에게 이는 AI 에이전트 배포의 경제성을 근본적으로 변화시킵니다.

3. 아파치 2.0 라이선스를 통한 완전한 개발자 통제권

메타가 아파치 2.0 라이선스로 Muse Glimmer를 공개한 것은 이 전략의 핵심 부분입니다 . 개발자는 제한 없이 모델을 검사, 수정, 미세 조정 및 재배포할 수 있습니다. 이는 특정 모델 제공업체에 대한 종속성을 없애고, AMD가 엔비디아의 독점적 CUDA 생태계에 대한 오픈 대안을 구축하려는 광범위한 움직임과 일치합니다 .

AMD는 공식 블로그에서 "Muse Glimmer와 같은 오픈 웨이트 모델과 강력한 로컬 하드웨어의 결합은 모든 추론을 비공개로, 저지연으로, 그리고 클라우드 API 비용이나 연결성으로부터 독립적으로 유지합니다"라고 밝혔습니다 .

주의사항 및 고려 사항

이번 발표는 중요하지만, 몇 가지 주의사항이 있습니다:

• 예비 벤치마크: 초당 24토큰 및 53토큰의 성능 수치는 AMD의 자체 윈도우 초기 테스트 결과입니다. 실제 성능은 다를 수 있습니다 .
• 윈도우에서의 DIY 소프트웨어 스택: 윈도우 사용자의 경우 Muse Glimmer 배포는 현재 DIY(Do-It-Yourself) 방식입니다. AMD는 출시 시점에 미리 구성된 원클릭 설치 프로그램을 제공하지 않습니다 .
• 하드웨어 요구 사항: 가장 작은 양자화 변형이라도 최소 26GB의 시스템 RAM이 필요합니다 . 16GB 시스템 사용자는 로컬에서 모델을 실행할 수 없습니다.
• 생태계 성숙도: 당일 지원은 광범위하지만, 모델이 2026년 8월 10일에 출시되었고 일부 통합은 이후 며칠 및 몇 주에 걸쳐 순차적으로 제공됩니다 .

결론

AMD의 메타 Muse Glimmer 30B 로컬 지원 확인은 로컬 AI 생태계의 중요한 이정표입니다. 이는 성능 좋은 300억 파라미터 에이전트 모델이 단일 소비자 GPU에서 실행될 수 있음을 입증하고, 개발자에게 아파치 2.0 라이선스 하의 성숙한 오픈 웨이트 대안을 제공하며, LM Studio 및 레모네이드를 통한 즉각적인 통합 경로를 제공합니다. 이번 발표는 강력한 AI 에이전트가 사용자가 이미 소유한 하드웨어에서 비공개적이고 지속적이며 비용 효율적으로 실행되는 미래인 'Agentic PC'에 대한 논리를 강화합니다 .