Inkling-Small：276B 参数 MoE 开源模型，推理与编程能力超越 4 倍大的老师傅

尽管参数总量仅为前代 Inkling（975B 总参数，41B 活跃参数）的四分之一，Inkling-Small 在多个关键基准上与之持平甚至反超，同时硬件部署和微调门槛大幅降低 。模型支持多模态输入（文本、图像、音频）、100 万 Token 上下文窗口，以及可调思考深度 。

基准测试：Inkling-Small 赢在哪，又输在哪？

Inkling-Small 在三项最严苛的公开基准上 超越 Inkling，但在事实性召回和竞赛数学方面存在短板 。

来源：

关键要点：

• 推理能力：Inkling-Small 在“人类最后考试（文本版）”中获 31.6%，领先 Inkling 的 29.7%，且优势在各个思考预算下均保持 。
• 编程智能体：SWE-Bench Verified（纯 Bash 环境，256K 轨迹）得分 80.2%，高出 2.6 个百分点 。
• 科学知识：GPQA Diamond 得分 89.5%，超过 Inkling 的 87.2% 。
• 事实性差距：较小模型在 SimpleQA Verified 上表现明显落后（20.6% vs 43.9%），这是在蒸馏过程中偏向推理能力而非记忆功能的已知权衡 。
• 第三方指数：Inkling-Small 在 Artificial Analysis Intelligence Index v4.1 上得分 40，与 Inkling 的 41 分相差仅 1 分 。

架构详解：276B MoE 如何实现 12B 活跃？

Inkling-Small 是一个 42 层稀疏 MoE 变压器，每 Token 激活 6 个专家（共 256 个），外加 2 个共享专家 。模型采用混合注意力机制（全注意力和滑动窗口注意力混合），并支持可控思考深度，让开发者可以在延迟和推理深度之间灵活取舍 。

其架构与 Inkling 同属 MoE 家族，但专家数量更少（256 vs. 约 576），每层激活的专家也更少。结果就是，模型在推理时行为类似于一个 12B 参数的密集模型，但其权重中保留了 276B 模型的容量 。

两阶段后训练流程

Thinking Machines 使用了一个两阶段方案，目前业界正将其视为标准的后训练基本方法 ：

1. 基于 Inkling 的在线蒸馏（On-Policy Distillation）——早期检查点（Inkling-Small 预览版）以 Inkling 为教师模型进行训练。学生模型自行采样轨迹，教师模型则在 Token 级别提供密集监督——这种方法称为在线蒸馏（OPD）。该技术兼顾了蒸馏的样本效率与在线训练的分布真实性。

2. 额外两周的智能体强化学习——团队继续扩大智能体编程 RL 的规模，这使模型在推理和编程基准上超越了 Inkling 。

该方案值得关注的一点是，学生模型在仅接受两周的额外 RL 后便在其老师最为擅长的任务上实现了反超——这与近期关于通过在线蒸馏实现“弱到强”泛化的研究结果一致 。

硬件需求：VRAM 降低约 3 倍

Inkling-Small 大幅降低了开源权重模型的硬件门槛。以下是官方配置 ：

作为对比，Inkling 的 BF16 检查点需要约 1.9 TB 的聚合 VRAM 。Inkling 的官方 NVFP4 量化版本则需约 600 GB 。

这一 3 倍 VRAM 缩减，使 Inkling-Small 成为 Thinking Machines 产品线中首个中等规模团队无需庞大集群即可进行 LoRA 和全参数微调 的模型 。模型支持 BF16、MXFP8 和 NVFP4 数值精度 。

对微调的意义

• BF16 全参数微调：需要 4× B300 或 8× H200 GPU 集群——投资不小，但资金充裕的初创公司和大学实验室已经能够企及 。
• NVFP4 LoRA 微调：可在 2× H200 GPU 上完成，大幅降低了定制化门槛 。
• NVFP4 推理：W4A4 模式只需单张 B300 GPU——这是 Thinking Machines 首款可在单张高端数据中心 GPU 上运行的模型 。

获取方式与成本

Inkling-Small 可通过以下途径获取 ：

• 完整权重：在 Hugging Face 上以 Apache 2.0 许可证提供。
• Tinker Playground：以文本、图像、音频方式与模型对话。
• Tinker API：通过 LoRA 进行模型微调。输出定价为每百万 Token 1.20 美元 。
• Tinker API 微调：通过 Tinker 平台提供 LoRA 微调功能 。

团队背景

Thinking Machines Lab 由前 OpenAI CTO Mira Murati 于 2024 年离开 OpenAI 后创立。John Schulman（前 OpenAI RLHF 团队联合创始人）同为联合创始人。Lilian Weng——最初也是创始团队成员——已离开 Thinking Machines Lab 并重返 OpenAI。这意味着 Mira Murati 和 John Schulman 是目前仅剩的联合创始人 。

总结

Inkling-Small 是 Thinking Machines Lab 的一次有力表态：只要后训练方案得当，一个四分之一大小的模型不仅能够匹敌、甚至可以在推理和智能体编程任务上超越其更大的教师模型。对于那些因 Inkling（1.9 TB VRAM）而望而却步的开发者与组织，Inkling-Small 以 600 GB（BF16）乃至 180 GB（NVFP4）的配置敞开了大门。代价是事实性召回能力明显下降，但对于编程、推理和指令遵循等工作负载而言，截至 2026 年 7 月，Inkling-Small 是更务实的开源权重选择。