Inkling-Small: компактная MoE-модель Thinking Machines Lab превзошла Inkling в рассуждениях и программировании

Для сравнения, первая модель компании, Inkling, располагает 975 млрд параметров, из которых активны примерно 41 млрд на токен. Несмотря на разницу почти в четыре раза по общему числу параметров, Inkling-Small сравнялась со старшей моделью или превзошла её в нескольких важных тестах .

Обе модели рассчитаны на мультимодальную работу: принимают текст, изображения и аудио, поддерживают контекст до 1 млн токенов и позволяют управлять интенсивностью «размышлений» — то есть выбирать компромисс между глубиной рассуждения, задержкой и стоимостью .

В каких тестах новая модель сильнее

Inkling-Small не стала безоговорочной заменой Inkling: она выиграла в рассуждениях, программировании и научных вопросах, но уступила в математическом соревновании и особенно в воспроизведении фактов .

Главные результаты

• Рассуждения. В текстовой версии Humanity’s Last Exam Inkling-Small получила 31,6% против 29,7% у Inkling. Преимущество сохранялось при разных уровнях вычислительного бюджета на «размышления» .
• Программирование и агентные задачи. В SWE-Bench Verified — тесте, где модель должна исправлять реальные проблемы в репозиториях — результат составил 80,2% против 77,6% у Inkling. Официальная конфигурация использовала bash-only harness и траектории длиной до 256 тысяч токенов .
• Научные вопросы. В GPQA Diamond меньшая модель набрала 89,5%, опередив Inkling с 87,2% .
• Математика. В AIME 2026 преимущество осталось за Inkling: 97,1% против 95,5% .
• Фактическая точность. На SimpleQA Verified разрыв оказался гораздо заметнее: 20,6% против 43,9% у старшей модели. Это показывает цену оптимизации меньшей модели под рассуждения и агентные сценарии вместо простого запоминания и воспроизведения фактов .
• Сводный индекс. В Artificial Analysis Intelligence Index v4.1 Inkling-Small получила 40 баллов — всего на один балл меньше Inkling .

Иными словами, модель выглядит особенно убедительно там, где нужно не просто выдать знакомый факт, а выполнить последовательность действий: разобрать задачу, написать код или решить сложный научный вопрос. Для справочных сценариев, где критична точность коротких утверждений, Inkling остаётся более сильным вариантом.

Как работает MoE с 276 млрд параметров

Inkling-Small построена как 42-слойный разреженный MoE-трансформер. На каждом токене выбираются 6 экспертов из 256, дополнительно используются два общих эксперта . В архитектуре также применяется гибридное внимание — сочетание полноразмерного и скользящего оконного внимания — и настраиваемая интенсивность рассуждений .

Все 276 млрд параметров сохраняются в весах, но в конкретном вычислительном шаге участвует только часть модели. Поэтому нагрузка при инференсе ближе к нагрузке плотной модели примерно на 12 млрд параметров, тогда как общий набор экспертов даёт системе существенно большую ёмкость .

По сравнению с Inkling у новой модели меньше экспертов — 256 против примерно 576 — и меньше активных экспертов на слой. Именно это помогает снизить задержку и требования к оборудованию, не отказываясь от крупной общей параметрической ёмкости.

Два этапа дообучения: сначала учитель, затем RL

Thinking Machines Lab использовала двухэтапную схему посттренировки :

1. On-policy-дистилляция от Inkling. Студенческая модель генерировала собственные траектории — полные последовательности действий и промежуточных рассуждений. Затем Inkling предоставляла плотную обратную связь на уровне отдельных токенов. Такой подход объединяет реалистичность данных, полученных из поведения самой модели, с подробным сигналом от более сильного учителя .
2. Ещё две недели обучения с подкреплением для агентных задач. Команда продолжила масштабировать RL-тренировку, ориентированную прежде всего на агентное программирование. По данным компании, именно этот этап помог Inkling-Small превзойти Inkling в ряде тестов на рассуждения и кодинг .

Результат примечателен: после короткого дополнительного этапа RL студент оказался сильнее учителя в нескольких задачах. Это согласуется с современными исследованиями weak-to-strong generalization — переносом полезных поведенческих изменений от менее мощной модели к более мощной или иначе обученной системе с помощью on-policy-дистилляции .

Требования к GPU снизились примерно втрое

Главное практическое преимущество Inkling-Small — не только результаты в таблицах, но и более низкий порог для запуска и адаптации. Официальная карточка модели указывает следующие конфигурации :

Для BF16-чекпойнта Inkling требовалось около 1,9 ТБ совокупной VRAM, а его официальный вариант в NVFP4 занимал примерно 600 ГБ . У Inkling-Small этот показатель снижается примерно втрое.

Это всё ещё дата-центровый масштаб, а не запуск на обычном игровом компьютере. Однако модель становится заметно реалистичнее для средних исследовательских групп, университетских лабораторий и хорошо финансируемых стартапов, которым нужны LoRA-адаптация или полноценное дообучение без огромного многосерверного кластера . Поддерживаются форматы BF16, MXFP8 и NVFP4 .

Что это означает для дообучения

• Полное дообучение в BF16: потребуется кластер из 4 B300 или 8 H200 — дорогое решение, но уже не уровень крупнейших облачных инфраструктур .
• LoRA в NVFP4: адаптацию можно выполнять на двух H200, поскольку обновляются небольшие адаптеры, а не все веса модели .
• Инференс в NVFP4: режим W4A4 позволяет разместить модель на одной B300; это первый вариант в линейке Thinking Machines, который компания позиционирует как запускаемый на одном мощном серверном GPU .

Где доступна Inkling-Small и сколько стоит

Полные веса модели опубликованы на Hugging Face под лицензией Apache 2.0. Кроме самостоятельного развёртывания, доступны облачные варианты :

• чат с текстом, изображениями и аудио в Tinker Playground;
• дообучение с помощью LoRA через Tinker API;
• цена генерации в Tinker API — 1,20 доллара за 1 млн токенов .

Открытые веса дают разработчикам возможность не ограничиваться готовым API: модель можно адаптировать под собственные данные и сценарии, если команда располагает необходимой инфраструктурой.

Кто стоит за выпуском модели

Thinking Machines Lab основала бывший технический директор OpenAI Мира Муратти после ухода из компании в 2024 году. Сооснователем также является Джон Шульман, один из бывших руководителей команды OpenAI, занимавшейся RLHF — обучением с подкреплением на основе обратной связи от людей .

Лилиан Венг, первоначально входившая в команду основателей, позднее покинула Thinking Machines Lab и вернулась в OpenAI. В результате среди оставшихся сооснователей стартапа называются Мира Муратти и Джон Шульман .

Итог

Inkling-Small показывает, что размер модели сам по себе не определяет её результат в каждом сценарии. При примерно четверти общего числа параметров Inkling она обошла старшую модель в Humanity’s Last Exam, SWE-Bench Verified и GPQA Diamond, а в сводном индексе отстала всего на один балл.

Компромисс очевиден: более слабый результат в SimpleQA Verified означает, что для задач, требующих надёжного фактического воспроизведения, Inkling по-прежнему предпочтительнее. Но для программирования, сложных рассуждений и агентных рабочих процессов Inkling-Small выглядит более практичным открытым вариантом. Снижение требований с примерно 1,9 ТБ до 600 ГБ в BF16 или 180 ГБ в NVFP4 делает её существенно доступнее для команд, которые не могли позволить себе инфраструктуру для запуска Inkling.