NaiveAI의 Naive-N0.5-Flash, 무엇이 눈길을 끄나

Naive-N0.5-Flash는 NaiveAI가 코딩과 AI 연구개발(R&D)을 겨냥해 공개한 오픈 웨이트 모델입니다. 눈에 띄는 사양은 3090억 개의 전체 파라미터, 토큰마다 활성화되는 155억 개의 파라미터, 네이티브 100만 토큰 문맥 지원입니다. 모델과 함께 전용 추론 시스템인 NaiveRT도 공개됐습니다.24

여기서 155억 개는 모델의 전체 크기가 아니라 토큰을 처리할 때 활성화되는 파라미터 수입니다. NaiveAI의 공개 자료는 모델 가중치와 추론 코드를 MIT 라이선스로 제공한다고 설명합니다.47

3090억 개 중 155억 개만 활성화되는 구조

Naive-N0.5-Flash는 혼합 전문가(MoE) 구조를 사용합니다. 입력 토큰에 따라 모델의 일부 전문가만 활성화되므로, 전체 파라미터 규모와 토큰당 실제 연산에 쓰이는 파라미터 수가 다릅니다. 모델 카드에 기재된 수치는 전체 3090억 개, 토큰당 활성 155억 개입니다.2

NaiveAI는 이 모델을 코딩과 AI 연구개발용으로 소개했습니다. 처음부터 독자적으로 만든 모델이라기보다 샤오미의 MiMo-V2.5를 바탕으로 추가 학습한 모델입니다.12

전체 어텐션 층 없이 100만 토큰 문맥을 지원한다는 주장

NaiveAI는 슬라이딩 윈도우 어텐션(SWA)과 경량 DeepSeek Sparse Attention(DSA)을 결합해 네이티브 100만 토큰 문맥을 지원한다고 밝혔습니다. 전체 토큰이 서로를 참조하는 일반적인 전체 어텐션 층은 사용하지 않으며, 공개 자료에는 SWA와 DSA를 대체로 5대 1 비율로 배치했다고 나와 있습니다.27

간단히 말해 SWA는 가까운 범위에 집중하고, DSA는 멀리 떨어진 정보도 희소한 방식으로 다루도록 설계됐습니다. 이런 구성은 긴 문맥을 처리할 때 전체 어텐션에 의존하지 않도록 하는 접근입니다. 다만 100만 토큰 지원 사양만으로 모든 장문 작업의 성능이 동일하게 보장되는 것은 아닙니다.

NaiveRT 속도 수치는 어떻게 봐야 할까

NaiveRT는 Naive-N0.5-Flash와 함께 공개된 추론 시스템입니다. NaiveAI는 메가 커널 융합, 프로그램 종속 실행(Programmatic Dependent Launch·PDL), 추측 디코딩 등을 적용했다고 설명합니다. 회사가 공개한 수치는 표준 모드에서 사용자당 초당 50토큰, 초고속 모드에서 최대 초당 2000토큰입니다.2

두 수치는 회사가 제시한 서빙 성능이며, 모든 환경이나 작업에서 그대로 재현된다는 뜻은 아닙니다. 특히 표준 모드의 사용자당 수치와 초고속 모드의 최대 수치는 서로 다른 조건의 지표이므로, 하나의 일반적인 처리 속도로 받아들이지 않는 편이 정확합니다.2

핵심은 사양과 실제 성능을 나눠 보는 것

Naive-N0.5-Flash의 특징은 MIT 라이선스 오픈 웨이트, 3090억 개 MoE 모델의 희소 활성화, 전체 어텐션 층 없는 네이티브 100만 토큰 문맥, 전용 추론 시스템을 한데 내세운다는 점입니다.247 다만 공개된 사양과 속도 주장은 특정 코딩 작업이나 연구개발 환경에서의 실제 성능을 그 자체로 입증하지는 않습니다. 도입을 검토할 때는 제시된 기술 사양과 자신의 작업에서 확인한 결과를 구분해 살펴볼 필요가 있습니다.