Naive-N0.5-Flashとは？3090億パラメーターのMoEモデルを解説

Naive-N0.5-Flashは、NaiveAIがコーディングとAI研究開発向けに公開したオープンウェイトモデルです。注目点は、総パラメーター数3090億の混合エキスパート（MoE）モデルでありながら、トークンごとに稼働するのは155億パラメーターとされること。そして、ネイティブで100万トークンの文脈長に対応し、専用の推論基盤「NaiveRT」も用意されている点です。24

ここでいう「155億」はモデル全体の規模ではなく、各トークンの処理で稼働するパラメーター数です。モデルの重みと推論コードはMITライセンスで公開されています。47

3090億と155億――MoEの数字を読み解く

MoEは、入力されたトークンに応じて、複数の専門家（エキスパート）の一部を選んで使う設計です。NaiveAIのモデルカードによると、Naive-N0.5-Flashは総パラメーター数が3090億、トークンごとの稼働パラメーター数が155億です。2

つまり、155億という数字はモデル全体の重みの大きさではなく、処理時に使われる部分を表します。NaiveAIは、コーディングとAI研究開発を主な用途として挙げています。また、ゼロから作ったモデルではなく、XiaomiのMiMo-V2.5をベースに追加学習したものです。12

フルアテンションなしで100万トークンに対応

NaiveAIは、Naive-N0.5-Flashがネイティブで100万トークンの文脈長を扱えると説明しています。その仕組みとして、スライディングウィンドウ注意機構（SWA）と軽量なDeepSeek Sparse Attention（DSA）を組み合わせ、すべてのトークン同士を参照するフルアテンション層を使わない構成を採用。モデル資料では、SWAとDSAをおおむね5対1の比率で配置しているとされています。27

大まかにいえば、SWAは近くの情報を中心に参照し、DSAはより離れた文脈を疎な形で扱います。こうした設計は、フルアテンション層に頼らず長い文脈を処理するためのものです。ただし、「100万トークン対応」という仕様だけで、あらゆる長文タスクで同じ精度や実用性が得られると判断できるわけではありません。

NaiveRTの速度はどう見るべきか

NaiveRTは、モデルとあわせて公開された推論システムです。NaiveAIは、メガカーネル融合、Programmatic Dependent Launch（PDL）、投機的デコードなどの技術を採用したと説明しています。公表値は、標準モードでユーザーあたり毎秒50トークン、Ultrafastモードで最大毎秒2000トークンです。2

これらはNaiveAIが示した推論速度で、すべての環境や利用条件で同じ速度が出ることを保証するものではありません。また、標準モードの「ユーザーあたり」の値と、Ultrafastモードの「最大」値は条件が異なるため、ひとつの実測速度として並べて捉えないよう注意が必要です。2

まず押さえたいポイント

Naive-N0.5-Flashの特徴は、MITライセンスのオープンウェイト、3090億パラメーターのMoE構成、フルアテンション層を使わない100万トークン対応、そして専用推論基盤NaiveRTを組み合わせた点にあります。247

一方、仕様や速度の公表値と、特定のコーディング作業・研究用途での性能は分けて考える必要があります。公開資料はモデルの機能や速度についての説明を示していますが、それだけで個々のワークフローにおける成果まで証明するものではありません。