GEEKOM은 어떻게 미니 PC 4대로 DeepSeek V4 Flash를 로컬에서 실행했나

OpenAI 호환 API를 제공한다는 점은 기업용 배포에서 의미가 있다. 기존에 OpenAI 스타일 엔드포인트를 지원하는 사내 애플리케이션, AI 에이전트, 개발 도구라면 통합 계층을 전면 재설계하지 않고도 로컬 모델에 연결할 가능성이 있기 때문이다.

따라서 이 시연은 한 대의 데스크톱에서 챗봇을 실행하는 사례라기보다, 조직 내부에 비공개 AI 서비스를 구축하는 사례에 가깝다. 프롬프트, 내부 문서, 생성 결과를 자체 네트워크 안에 두려는 기업을 겨냥한 구상이다.

그러나 이번 발표만으로 데이터센터 서버와 같은 특성을 기대하기는 어렵다. GEEKOM은 네트워크 토폴로지, 실효 대역폭과 지연시간, 샤딩 전략, 모델 정밀도와 양자화 형식, 오케스트레이션 설정, 장애 발생 시 복구 방식 등을 공개하지 않았다. 분산 추론에서는 노드 간 통신이 빈번할 수 있기 때문에 이런 요소들이 실제 성능에 큰 영향을 줄 수 있다.

저장장치와 연결성

A9 Mega 한 대에는 PCIe 4.0 M.2 슬롯 두 개가 있으며, 최대 8TB SSD를 지원하는 것으로 명시돼 있다. 따라서 네 대 모두 최대 용량으로 구성하면 이론적으로 총 32TB까지 확장할 수 있다. 이는 시스템 통합 메모리 512GB와는 별개의 저장공간이며, DeepSeek 배포에 실제로 필요한 디스크 용량을 의미하지도 않는다.

노드 간 연결에는 USB4가 사용된다. GEEKOM 제품 자료는 A9 Mega의 USB4 포트가 최대 40Gbps를 지원한다고 설명한다. 하지만 인터페이스의 이론상 전송 속도와 클러스터의 실제 성능은 다르다. 프로토콜 오버헤드, 연결 구조, 데이터 이동 패턴, 소프트웨어 통신 방식에 따라 분산 추론에 사용할 수 있는 대역폭과 지연시간이 달라진다.

기업용 프라이빗 AI라는 사업 모델

GEEKOM이 내세우는 방향은 온프레미스 프라이빗 AI 어플라이언스다. 이론적으로 기업은 프롬프트와 내부 문서, 생성 결과를 자체 네트워크 안에 보관하면서 사내 애플리케이션과 에이전트가 로컬 API를 통해 모델을 사용하도록 만들 수 있다.

AMD GPU를 위한 소프트웨어 계층으로 ROCm을 사용하므로, 이 설계 자체에는 NVIDIA CUDA 기반 시스템이 필수는 아니다. 데이터 주권, 개인정보 보호, 외부망 차단이 중요한 조직이라면 관심을 가질 만한 지점이다.

다만 클라우드를 사용하지 않는 대신 운영 책임은 기업이 직접 져야 한다. 하드웨어 가용성, 운영체제와 모델 업데이트, 접근 권한, 모니터링, 냉각, 전력, 소프트웨어 오류와 장애 복구까지 직접 관리해야 한다.

네 대를 사면 비용은 얼마인가

GEEKOM은 A9 Mega의 가격을 3,999달러로 제시하고 있다. 따라서 네 대의 가격만 합치면 약 15,996달러다.

이 금액에는 기본 구성 외의 저장장치 확장, 케이블, 네트워크 장비, 설치 작업, 전기요금, 유지보수와 지원 비용이 포함되지 않는다. 결국 비교해야 할 대상은 미니 PC 네 대의 구매 가격이 아니라, 분산 추론 서비스를 실제로 운영하는 데 드는 전체 비용과 안정적으로 처리할 수 있는 업무량이다.

가장 큰 공백은 성능 데이터

GEEKOM의 발표가 확인해 주는 것은 네 대의 A9 Mega에 DeepSeek V4 Flash를 배치했다는 사실이다. 그러나 이 정확한 구성에 대한 독립적이고 표준화된 성능 결과는 제시되지 않았다.

현재 공개되지 않은 핵심 지표는 다음과 같다.

• 지속적인 초당 토큰 생성량
• 첫 토큰까지 걸리는 시간
• 동시 사용자 및 동시 요청 처리량
• 장문 컨텍스트에서의 지연시간
• 전력 소비량
• 노드 장애 시 동작과 복구 성능

따라서 이번 사례는 검증된 생산 환경용 벤치마크라기보다 배포 가능성을 보여준 기술 시연으로 보는 편이 정확하다. DeepSeek V4 Flash가 최대 100만 토큰 컨텍스트를 지원한다는 사양도, 네 대의 A9 Mega가 100만 토큰 요청을 빠르고 경제적으로 처리한다는 뜻은 아니다. 실제 결과는 모델 빌드, 정밀도, 양자화, 메모리 배분, 입력 길이, 동시 요청 수, 노드 간 통신 오버헤드에 좌우된다.

GEEKOM만의 하드웨어는 아니다

Ryzen AI Max+ 395 플랫폼은 GEEKOM만 사용하는 독점 하드웨어가 아니다. 다른 제조사도 같은 프로세서를 탑재하고 128GB 통합 메모리를 제공하는 미니 PC를 판매한다.

Minisforum N5 Max도 비교 가능한 제품이다. 다만 ServeTheHome의 보도에 따르면 실제 판매 버전은 초기 프로토타입에서 공개된 128GB가 아니라 64GB 납땜식 LPDDR5X 통합 메모리를 탑재했다.

이 때문에 GEEKOM의 차별점은 Ryzen AI Max+ 395 프로세서 자체라기보다, 네 대를 묶어 DeepSeek V4 Flash를 실행했다고 주장한 소프트웨어와 시스템 구성에 있다. 이 접근법이 단순한 기술 시연을 넘어 실용적인 선택지가 되려면 재현 가능한 설치 방법, 표준화된 벤치마크, 네트워크 측정값, 전력 데이터, 실제 업무 부하에서의 안정성 검증이 추가로 필요하다.

결론

GEEKOM의 시연은 소형 미니 PC 네 대로 대규모 메모리를 갖춘 AMD 기반 로컬 추론 플랫폼을 구성할 수 있다는 가능성을 보여준다. 이론상 네 시스템을 합치면 CPU 64코어와 128스레드, Radeon 8060S 컴퓨트 유닛 160개, LPDDR5X-8000 통합 메모리 512GB가 된다. 네 노드는 USB4로 연결되고 Ubuntu, ROCm, DwarfStar가 배포를 담당한다.

실용적 가능성은 익숙한 API를 통해 매우 큰 MoE 모델에 로컬·비공개 방식으로 접근할 수 있다는 데 있다. 하지만 현재 공개된 근거만으로는 속도, 효율, 생산 환경 적합성까지 결론 내리기 어렵다.

GEEKOM이 재현 가능한 벤치마크와 구현 세부사항을 공개하기 전까지, 이 네 대의 A9 Mega 클러스터는 전용 AI 인프라를 대체한다고 입증된 제품이라기보다 흥미로운 온프레미스 기술 시연으로 평가하는 것이 타당하다.