AMD Instella-MoE: 160억 파라미터 완전 오픈 모델, 엔비디아 독점 체제에 균열

AMD가 2026년 7월 24일, 자사의 AI 전문 가속기인 Instinct MI300X 및 MI325X GPU와 오픈소스 소프트웨어 스택 ROCm만을 사용해 처음부터 끝까지 학습시킨 완전 오픈소스 언어 모델 **'Instella-MoE'**를 발표했습니다. 이 모델은 총 160억(16B) 개의 파라미터를 가지고 있지만, 토큰당 단 28억(A3B) 개의 파라미터만 활성화하는 고효율 Mixture-of-Experts(MoE) 구조를 채택해 엄청난 효율성을 자랑합니다. 이번 발표는 AMD의 하드웨어와 오픈소스 생태계가 엔비디아의 독점적인 CUDA 생태계에 맞설 수 있는 '프론티어급' AI 개발 역량을 갖추었음을 보여주는 전략적 이정표로 평가됩니다.

혁신적인 아키텍처: Gated MLA와 FarSkip-Collective

Instella-MoE는 '공유+라우팅 전문가(Shared-plus-Routed Expert)' 구조를 사용합니다. 모든 토큰이 접근하는 2개의 '공유 전문가'와 64개의 '라우팅 전문가' 풀에서 각 토큰이 가장 관련성 높은 6개를 선택하는 방식입니다. 모델은 총 27개의 디코더 레이어로 구성되며, 각 레이어의 은닉 상태 크기는 2,048입니다.

특히 두 가지 주요 아키텍처 혁신이 도입되었습니다:

• 게이트형 다중 헤드 잠재 어텐션(Gated Multi-head Latent Attention, Gated MLA): 기존 MLA(DeepSeek-V2에서 처음 소개된 기술)에 가벼운 학습 가능한 출력 게이트를 추가한 것입니다. 이 게이트는 데이터 기반 비선형성을 도입해 덜 유용한 어텐션 응답을 선택적으로 약화시켜, 적은 계산 비용으로 모델의 표현력을 높여줍니다. (MLA는 키-값 캐시를 압축해 추론 효율을 높이는 기술입니다.)
• FarSkip-Collective: MoE 모델 학습 시 전문가 병렬 처리 과정에서 통신과 연산을 겹쳐 수행하도록 연결 방식을 수정한 기술입니다. 이를 통해 통신 병목 현상이 크게 줄어들었으며, 사전 학습 단계에서 12.7%의 속도 향상을 가져왔습니다.

또한, 모델은 사전 학습 및 중간 학습 단계에서 미래의 여러 토큰을 동시에 예측하는 다중 토큰 예측(Multi-Token Prediction, MTP) 목적 함수도 사용했습니다.

64K 토큰 컨텍스트와 6단계 학습 파이프라인

전용 장기 컨텍스트 확장 학습 단계를 거친 후, Instella-MoE는 최대 64K(약 6만 4천) 토큰의 컨텍스트를 지원합니다. AMD는 모델의 완전한 투명성을 위해 6단계로 구성된 전체 학습 파이프라인을 공개했습니다:

1. 사전 학습(Pre-training)
2. 중간 학습(Mid-training)
3. 장기 컨텍스트 확장(Long-Context Extension) : 컨텍스트를 64K 토큰으로 확장
4. 지도 미세 조정(Supervised Fine-Tuning, SFT) : 세밀한 오류 분석 및 유사성 기반 검색을 활용한 피드백 기반 데이터 큐레이션 단계 포함
5. 직접 선호도 최적화(Direct Preference Optimization, DPO) : 라우터 바이어스 업데이트 등 안정성 유지 기법 적용
6. 강화 학습(Reinforcement Learning, RL) : ROCm을 지원하는 Miles RL 프레임워크를 사용, IF 특화 RL 및 다중 교사 온-정책 증류(MOPD) 기법 포함

벤치마크 성능: 더 큰 모델과 견주다

Instella-MoE의 기본 모델(Instella-MoE-16B-A3B)은 다양한 표준 벤치마크에서 평균 76.7점을 기록하며, 동급 규모의 완전 오픈 모델 중 최상위권에 올랐습니다. 특히 활성 파라미터가 28억 개에 불과함에도 불구하고, SmolLM3-3B 및 OLMo-3-7B와 같은 모델을 능가했으며, 더 큰 규모의 모델들과도 경쟁할 수 있는 성능을 보여주었습니다.

완전한 투명성: '오픈'의 진정한 의미

'완전 오픈'이라는 약속에 걸맞게, AMD는 모든 학습 산출물을 투명하게 공개했습니다:

• 모든 학습 단계의 모델 가중치
• 학습 설정(Configuration) 및 데이터 구성(Data Mixture)
• 중간 체크포인트
• 추론 코드

이 모든 자료는 허깅페이스(Hugging Face)의 amd/Instella-MoE-16B-A3B 네임스페이스에서 확인할 수 있으며, 라이선스는 학술 및 연구 목적을 위한 **Research RAIL(Responsible AI License)**이 적용됩니다.

전략적 중요성: 엔비디아에 균열을 내다

Instella-MoE는 단순한 모델 출시 그 이상입니다. 이는 AMD의 ROCm 소프트웨어 스택과 Instinct GPU 하드웨어가 사전 학습부터 강화 학습에 이르기까지 프론티어급 AI 개발의 전 과정을 완전한 오픈 인프라로 지원할 수 있다는 강력한 증거입니다. 엔비디아 하드웨어로 학습된 최고 수준의 오픈소스 모델들과 경쟁력 있는 벤치마크 결과를 내놓음으로써, AMD는 엔비디아 CUDA 생태계에 대한 실질적인 대안으로서 자사 생태계(ROCm + MI300X/MI325X)의 위상을 확고히 하고 있습니다.