Inkling-Small：以 4 分之 1 的體積超越教師模型，Thinking Machines Lab 的開放重量級 MoE

儘管其規模僅約為前代模型 Inkling（975B 總參數，41B 活躍參數）的四分之一，Inkling-Small 在多項關鍵基準上與之並駕齊驅甚至超越，同時所需硬體大幅減少 。該模型支援多模態輸入（文字、圖像與音訊）、100 萬 token 的脈絡視窗以及可變的思考努力（thinking effort）。

基準測試：Inkling-Small 的優勢與短板

Inkling-Small 在三項最具挑戰的公開基準上 超越 Inkling，但在事實回憶與競賽數學方面則略遜一籌 。

來源：

關鍵觀察：

• 推理能力：Inkling-Small 在「人類最後考試」（Humanity's Last Exam，HLE）純文字版本中獲得 31.6%，領先 Inkling 的 29.7%，且此優勢在不同思考預算下均保持一致 。
• 程式碼代理：在 SWE-Bench Verified（bash-only harness，256K 軌跡）上獲得 80.2% — 提升了 2.6 個百分點 。
• 科學知識：在 GPQA Diamond 上獲得 89.5%，優於 Inkling 的 87.2% 。
• 事實性差距：較小的模型在 SimpleQA Verified 上明顯落後（20.6% vs 43.9%），這是為了強化推理而非記憶而知名的取捨 。
• 第三方指數：Inkling-Small 在 Artificial Analysis Intelligence Index v4.1 中獲得 40 分，與 Inkling 的 41 分僅差 1 分 。

架構：276B MoE 如何以 12B 活躍參數運作

Inkling-Small 是一個 42 層的稀疏 MoE Transformer，每個 token 從 256 個專家（experts）中啟動 6 個，外加 2 個共享專家 。該模型採用混合注意力機制（hybrid attention，結合完整注意力與滑動視窗注意力），並支援可控的思考努力，讓開發者能在延遲與推理深度之間取得平衡 。

其架構與 Inkling 同屬 MoE 系列，但總專家數較少（256 個 vs. Inkling 約 576 個），且每層啟動的專家也較少。結果是：在推理時，它表現得像一個 12B 參數的密集模型，但其權重中保留了 276B 模型的容量 。

兩階段的後訓練流程

Thinking Machines 採用了一個兩階段的配方，目前業界正將其視為標準的後訓練基本流程進行研究 ：

1. 基於同策略的蒸餾（On-policy distillation from Inkling） — 早期的一個檢查點（Inkling-Small 預覽版）以 Inkling 為教師進行訓練。學生模型自行取樣軌跡，同時教師提供密集的 token 級別監督 — 這種方法稱為同策略蒸餾（OPD）。此技術結合了蒸餾的樣本效率與同策略訓練的分佈真實性。

2. 額外兩週的代理強化學習 — 團隊持續擴展代理程式碼 RL，使模型在推理與程式碼基準上超越了 Inkling 。

此配方的突出之處在於，學生模型在僅進行了兩週的額外 RL 後，就在多項任務上超越了其教師模型 — 這一結果與近期關於透過同策略蒸餾實現「弱到強泛化」（weak-to-strong generalization）的研究相符 。

硬體需求：VRAM 降低約 3 倍

Inkling-Small 大幅降低了開放權重模型的硬體門檻。以下是官方模型卡提供的配置 ：

作為對比，Inkling 的 BF16 檢查點需要 約 1.9 TB 的聚合 VRAM 。Inkling 的官方 NVFP4 量化版本則需要約 600 GB 。

這項 約 3 倍的 VRAM 減少，使 Inkling-Small 成為 Thinking Machines 產品線中，第一個讓中型團隊在無需龐大多節點叢集的情況下，即可實際進行 LoRA 與全參數微調 的模型 。該模型支援 BF16、MXFP8 與 NVFP4 數值格式 。

這對微調意味著什麼

• BF16 全參數微調：需要一個配備 4×B300 或 8×H200 GPU 的叢集 — 這是一筆不小的投資，但資金充足的新創公司與大學實驗室仍有能力負擔 。
• NVFP4 下的 LoRA 微調：可在 2×H200 GPU 上完成，大幅降低了客製化的門檻 。
• NVFP4 下的推理：在 W4A4 模式下可裝載於單張 B300 GPU — 這是 Thinking Machines 第一款能在單張高階資料中心 GPU 上運行的模型 。

可用性與成本

Inkling-Small 可透過多種方式取得 ：

• 完整權重：可在 Hugging Face 上以 Apache 2.0 授權下載。
• Tinker Playground：使用文字、圖像與音訊與模型對話。
• Tinker API：使用 LoRA 對模型進行微調。輸出定價為每 100 萬 tokens 1.20 美元 。
• Tinker API 微調：可透過 Tinker 平台進行 LoRA 微調 。

領導團隊背景

Thinking Machines Lab 由前 OpenAI 技術長 Mira Murati 於離開 OpenAI 後創立。John Schulman（前 OpenAI 共同創辦人，RLHF 團隊領導者）也是共同創辦人。最初共同創辦團隊中的 Lilian Weng 已離開 Thinking Machines Lab 並返回 OpenAI。這使得 Mira Murati 與 John Schulman 成為該新創公司僅存的共同創辦人 。

總結

Inkling-Small 是 Thinking Machines Lab 發出的一張強而有力的聲明：只要採用正確的後訓練配方，一個規模僅四分之一大小的模型，不僅能與其更大的教師模型並駕齊驅，甚至在推理與代理程式碼任務上還能超越它。對於那些因 Inkling（1.9 TB VRAM）的高昂成本而卻步的開發者與組織而言，Inkling-Small 以 600 GB（BF16）甚至 180 GB（NVFP4）的門檻打開了大門。其代價是在事實回憶方面有明顯的妥協，但對於程式碼、推理與指令遵循等工作負載，截至 2026 年 7 月，Inkling-Small 是更實用的開放權重選擇。