Inkling-Small schlägt das 975-Milliarden-Modell Inkling – mit deutlich weniger Hardware

Im Vergleich zum ursprünglichen Inkling mit 975 Milliarden Gesamtparametern und 41 Milliarden aktiven Parametern ist Inkling-Small damit ungefähr ein Viertel so groß. Trotzdem erreicht es in mehreren wichtigen Tests mindestens die Leistung des größeren Modells oder übertrifft sie sogar – bei deutlich geringeren Anforderungen an den Betrieb und das Fein-Tuning .

Beide Modelle verarbeiten Text, Bilder und Audio, bieten ein Kontextfenster von bis zu 1 Million Tokens und erlauben eine variable Denkintensität. Entwickler können damit zwischen höherer Antwortqualität und geringerer Latenz abwägen .

Benchmarks: Stark beim Schlussfolgern und Programmieren

Inkling-Small gewinnt nicht in jeder Kategorie. Besonders überzeugend ist das Modell bei komplexem Schlussfolgern, wissenschaftlichen Aufgaben und agentenbasiertem Programmieren. Beim Abruf konkreter Fakten und bei Wettbewerbs-Mathematik hat dagegen Inkling die Nase vorn .

Quellen:

Die wichtigsten Ergebnisse:

• Schlussfolgern: Bei „Humanity’s Last Exam“ (HLE, nur Text) erreicht Inkling-Small 31,6 Prozent und liegt damit vor Inkling mit 29,7 Prozent. Der Vorsprung zeigte sich laut Thinking Machines bei allen getesteten Denkbudgets .
• Programmieren mit Agenten: Auf SWE-Bench Verified, einem Test zum Beheben realer Softwarefehler in GitHub-Projekten, kommt das Modell auf 80,2 Prozent. Der Test lief mit einer Bash-only-Umgebung und einer 256K-Trajektorie .
• Wissenschaft: Bei GPQA Diamond, einem anspruchsvollen Test mit Fragen auf Hochschul- und Expertenniveau, erzielt Inkling-Small 89,5 Prozent gegenüber 87,2 Prozent für Inkling .
• Faktenabruf: SimpleQA Verified zeigt die klare Schwachstelle des kleineren Modells: 20,6 gegenüber 43,9 Prozent. Die Zahlen deuten auf einen Zielkonflikt hin, wenn ein Modell stärker auf Schlussfolgern statt auf Faktenmemorierung optimiert wird .
• Gesamtvergleich: Im Artificial Analysis Intelligence Index v4.1 liegt Inkling-Small mit 40 Punkten nur einen Punkt hinter Inkling mit 41 .

Die Ergebnisse bedeuten daher nicht, dass das kleinere Modell den Vorgänger generell ersetzt. Für Rechercheaufgaben, bei denen präziser Faktenabruf entscheidend ist, kann Inkling weiterhin die bessere Wahl sein. Für Coding- und Reasoning-Workloads ist Inkling-Small jedoch die praktischere Variante.

Architektur: 276 Milliarden Parameter, aber nur 12 Milliarden aktiv

Inkling-Small ist ein 42-lagiger, sparsamer MoE-Transformer. Pro Token werden sechs von 256 Experten aktiviert; zusätzlich kommen zwei gemeinsam genutzte Experten zum Einsatz . Eine hybride Aufmerksamkeitsarchitektur kombiniert vollständige mit auf ein Fenster begrenzter Aufmerksamkeit. Die variable Denkintensität ermöglicht es, Rechenzeit und Antworttiefe an den jeweiligen Anwendungsfall anzupassen .

Das Modell gehört zur selben MoE-Familie wie Inkling, arbeitet aber mit deutlich weniger Gesamtexperten – 256 statt ungefähr 576 – und aktiviert weniger Experten pro Schicht. Beim Ausführen verhält es sich dadurch ungefähr wie ein dichtes Modell mit 12 Milliarden aktiven Parametern, bewahrt in seinen Gewichten aber die Kapazität eines 276-Milliarden-Parameter-Modells .

Wichtig für die Planung: „12 Milliarden aktiv“ bedeutet nicht, dass der gesamte Checkpoint nur die Größe eines 12B-Modells hat. Für das Laden des Modells muss die Hardware weiterhin die Gesamtgewichte berücksichtigen .

Nachtraining in zwei Schritten

Thinking Machines setzte auf einen zweistufigen Prozess, der die Stärken von Destillation und Reinforcement Learning verbinden soll .

1. On-Policy-Destillation von Inkling: Ein früherer Inkling-Small-Checkpoint wurde mit Inkling als Lehrer trainiert. Dabei erzeugte der Student seine eigenen Trajektorien – also vollständige Antwort- und Denkschritte –, während der Lehrer für die tatsächlich erzeugten Token eine dichte Rückmeldung lieferte. Anders als bei einer klassischen Destillation lernt das Modell damit auf Zuständen, die es selbst erreicht .
2. Zwei weitere Wochen agentenorientiertes Reinforcement Learning: Anschließend skalierte das Team das RL-Training für agentenbasierte Coding-Aufgaben weiter. Laut Thinking Machines brachte dieser Schritt Inkling-Small bei mehreren Reasoning- und Coding-Benchmarks über Inkling .

Bemerkenswert ist vor allem, dass der kleinere Student seinen größeren Lehrer in mehreren Aufgaben nach nur zwei zusätzlichen RL-Wochen übertreffen konnte. Das passt zu aktueller Forschung über Weak-to-Strong-Generalization und On-Policy-Destillation . Die Benchmark-Ergebnisse sind allerdings keine Garantie dafür, dass Inkling-Small in jedem praktischen Szenario besser abschneidet.

Hardware: Rund dreimal weniger VRAM

Der größte praktische Unterschied liegt beim Speicherbedarf. Nach Angaben der offiziellen Model Card gelten folgende Mindestkonfigurationen :

Zum Vergleich: Der BF16-Checkpoint von Inkling benötigte ungefähr 1,9 TB aggregierten VRAM. Die offizielle quantisierte NVFP4-Variante von Inkling lag bei etwa 600 GB .

Die Verringerung auf rund 600 GB bei BF16 beziehungsweise 180 GB bei NVFP4 macht Inkling-Small zum bislang zugänglichsten Modell der Thinking-Machines-Reihe für mittlere Teams. LoRA- und vollständiges Parameter-Feintuning werden damit möglich, ohne zwingend auf sehr große Multi-Node-Cluster zurückgreifen zu müssen . Unterstützt werden BF16, MXFP8 und NVFP4 .

Was bedeutet das für das Fein-Tuning?

• Vollständiges Fein-Tuning in BF16: Dafür sind mindestens 4 B300- oder 8 H200-GPUs erforderlich. Das bleibt eine erhebliche Investition, liegt aber eher im Bereich gut finanzierter Start-ups und Forschungslabore .
• LoRA-Feintuning in NVFP4: Zwei H200-GPUs reichen laut Model Card für die angegebene Konfiguration. Bei LoRA werden die ursprünglichen Gewichte weitgehend eingefroren und nur kleine Adapter trainiert .
• Inference in NVFP4: Im W4A4-Modus kann das Modell auf einer einzelnen B300-GPU laufen. Dafür ist eine GPU-Architektur mit SM100 oder neuer erforderlich .

Verfügbarkeit und Preis

Inkling-Small ist über mehrere Wege erhältlich :

• Vollständige Gewichte: Download über Hugging Face unter der Apache-2.0-Lizenz.
• Tinker Playground: Chat mit Text-, Bild- und Audioeingaben.
• Tinker API: Bereitstellung und LoRA-Feintuning über die Tinker-Plattform.
• API-Preis: Die Ausgabe kostet 1,20 US-Dollar pro 1 Million Tokens .

Die offene Lizenz erlaubt es Entwicklern und Unternehmen, die Gewichte herunterzuladen, anzupassen und in eigenen Anwendungen einzusetzen – vorbehaltlich der Bedingungen der Apache-2.0-Lizenz.

Der Führungsrahmen hinter der Veröffentlichung

Thinking Machines Lab wurde von der früheren OpenAI-Technikchefin Mira Murati gegründet, nachdem sie OpenAI verlassen hatte. John Schulman, einer der früheren OpenAI-Mitgründer und Mitglied des RLHF-Teams, ist ebenfalls Mitgründer. Lilian Weng, die zunächst zum Gründungsteam gehörte, hat Thinking Machines Lab inzwischen verlassen und ist zu OpenAI zurückgekehrt. Damit verbleiben Mira Murati und John Schulman als die beiden derzeitigen Mitgründer des Start-ups .

Fazit

Inkling-Small ist ein starkes Signal für die These, dass Modellgröße allein nicht über die praktische Leistungsfähigkeit entscheidet. Durch die Kombination aus sparsamer MoE-Architektur, On-Policy-Destillation und agentenorientiertem RL übertrifft das Modell seinen viermal größeren Lehrer bei mehreren Reasoning-, Wissenschafts- und Coding-Tests.

Der Preis dafür ist klar: Beim faktenbasierten Abruf fällt Inkling-Small deutlich zurück. Wer jedoch vor allem Coding-Agenten, Schlussfolgerungsaufgaben oder anpassbare Open-Weights-Modelle benötigt, erhält eine wesentlich leichter betreibbare Alternative. Statt rund 1,9 TB VRAM für Inkling reichen je nach Format etwa 600 GB in BF16 oder 180 GB in NVFP4 . Stand Juli 2026 ist Inkling-Small damit die pragmatischere Wahl für viele anspruchsvolle Entwicklungs- und Agentenanwendungen – auch wenn es nicht in jeder Disziplin den größeren Inkling ersetzt.