Inkling-Small：276BのオープンMoEが975Bの教師モデルを凌駕——推論とコーディングで躍進

サイズは前身モデルInkling（975B総パラメータ、41B活性）の約4分の1ですが、主要ベンチマークのいくつかではこれを凌駕または同等の性能を示し、実行やファインチューニングに必要なハードウェアは劇的に少なくて済みます。このモデルはマルチモーダル入力（テキスト、画像、音声）に対応し、100万トークンのコンテキストウィンドウ、そして思考の強さを調節可能な機能も備えています。

ベンチマーク：Inkling-Smallが勝利する領域と、そうでない領域

Inkling-Smallは、最も要求の厳しい公開ベンチマークのうち3つでInklingを上回りましたが、事実知識の想起と競技数学では劣ります。

出典：

主なポイント：

• 推論能力：Inkling-SmallはHumanity's Last Exam（テキストのみ）で31.6%を記録し、Inklingの29.7%を上回りました。このアドバンテージは思考予算の全範囲で確認されています。
• コーディングエージェント：SWE-Bench Verified（bash限定ハーネス、256K軌跡）で80.2%を記録し、2.6ポイントの伸びを示しました。
• 科学知識：GPQA Diamondで89.5%を達成し、Inklingの87.2%を上回りました。
• 事実性のギャップ：小規模モデルはSimpleQA Verifiedで大きく劣ります（20.6% vs 43.9%）。これは、記憶よりも推論に特化して蒸留する際に生じる既知のトレードオフです。
• 第三者指数：Artificial Analysis Intelligence Index v4.1で40ポイントを記録し、Inklingの41ポイントに1ポイント差まで迫りました。

アーキテクチャ：276BのMoEが12B活性で動作する仕組み

Inkling-Smallは、42層のスパースMoEトランスフォーマーで、256のエキスパートのうちトークンあたり6つが活性化され、さらに2つの共有エキスパートを持ちます。ハイブリッドアテンション（フルアテンションとスライディングウィンドウアテンションの混合）を採用し、思考の強さを制御可能で、開発者はレイテンシと推論の深さをトレードオフできます。

アーキテクチャはInklingと同じMoEファミリーですが、総エキスパート数が少なく（Inklingの約576に対し256）、レイヤーあたりの活性エキスパート数も少なくなっています。結果として、推論時には12Bパラメータの高密度モデルのように振る舞いながら、重みとしては276Bモデルの容量を保持します。

2段階のポストトレーニングプロセス

Thinking Machinesは現在、業界で標準的なポストトレーニング手法として研究されている2段階のレシピを採用しました：

1. Inklingからのオンポリシー蒸留——初期のチェックポイント（Inkling-Smallプレビュー）は、Inklingを教師モデルとして学習されました。生徒モデルが自身の軌跡をサンプリングし、教師がトークンレベルの詳細な監督信号を提供する——オンポリシー蒸留（OPD）として知られる手法です。この手法は、蒸留のサンプル効率とオンポリシー学習の分布的な現実性を組み合わせたものです。

2. 2週間の追加エージェント特化強化学習——チームはエージェント型コーディングの強化学習を継続的にスケールさせ、推論とコーディングのベンチマークでInklingを超えました。

このレシピが注目されるのは、生徒モデルがわずか2週間の追加強化学習の後に、複数のタスクで教師モデルを凌駕した点です——これはオンポリシー蒸留による弱から強への一般化に関する最近の研究結果と一致しています。

ハードウェア要件：VRAM約1/3に削減

Inkling-Smallは、オープンウェイトモデルのハードウェア障壁を劇的に引き下げました。以下はモデルカードからの公式構成です：

参考までに、InklingのBF16チェックポイントには約1.9 TBの総VRAMが必要でした。Inklingの公式NVFP4量子化版でも約600 GBが必要でした。

この3倍のVRAM削減により、Inkling-SmallはThinking Machinesのラインナップで初めて、大規模なマルチノードクラスターなしで中規模チームによるLoRAおよびフルパラメータファインチューニングが現実的に可能なモデルとなりました。このモデルはBF16、MXFP8、NVFP4の数値形式をサポートします。

ファインチューニングにおける意味

• BF16でのフルパラメータファインチューニング：NVIDIA B300 4基またはH200 8基のクラスターが必要——十分な資金のあるスタートアップや大学の研究室にとっては手の届く投資です。
• NVFP4でのLoRAファインチューニング：NVIDIA H200 2基で実行可能で、カスタマイズの障壁を大幅に低減します。
• NVFP4での推論：W4A4モードでNVIDIA B300 1基に収まります——Thinking Machinesのモデルとして初めて、1枚のハイエンドデータセンターGPUで動作可能です。

入手方法とコスト

Inkling-Smallは複数の方法で利用可能です：

• フルウェイト：Hugging FaceでApache 2.0のもと公開。
• Tinker Playground：テキスト、画像、音声でモデルとチャット可能。
• Tinker API：LoRAを使用したファインチューニング。出力価格は100万トークンあたり1.20ドル。
• Tinker APIファインチューニング：Tinkerプラットフォームを通じてLoRAファインチューニングが利用可能。

リーダーシップの背景

Thinking Machines Labは、2024年にOpenAIを退社した元CTOのMira Murati（ミラ・ムラティ） によって設立されました。John Schulman（ジョン・シュルマン）（OpenAIのRLHFチームの共同創設者）も共同創業者です。当初は創業チームの一員だったLilian Weng（リリアン・ウェン） は、その後Thinking Machines Labを離れ、OpenAIに復帰しました。これにより、Mira MuratiとJohn Schulmanがスタートアップの残る共同創業者となっています。

結論

Inkling-Smallは、Thinking Machines Labによる力強い声明です。適切なポストトレーニングのレシピがあれば、4分の1のサイズのモデルが、推論とエージェントコーディングタスクにおいて、より大きな教師モデルに匹敵するだけでなく、それを上回ることができるのです。Inklingを実行するにはハードルが高すぎた（1.9 TB VRAM）開発者や組織にとって、Inkling-Smallは600 GB（BF16）、さらには180 GB（NVFP4）でその扉を開きます。トレードオフとして事実知識の想起には大きな打撃がありますが、コーディング、推論、指示追従のワークロードにおいては、2026年7月時点でInkling-Smallはより実用的なオープンウェイトの選択肢です。