Inkling-Small: 276 mld parametrów i wyniki lepsze niż w modelu 975B

Dla porównania, jego większy poprzednik — Inkling — ma 975 mld parametrów, z czego aktywnych jest około 41 mld. Mimo niemal czterokrotnie mniejszej liczby parametrów całkowitych Inkling-Small dorównuje mu lub go wyprzedza w kilku ważnych testach, a do uruchomienia i dostrajania wymaga znacznie mniej sprzętu .

Model obsługuje dane tekstowe, obrazy i dźwięk, oferuje kontekst do miliona tokenów oraz pozwala kontrolować „wysiłek myślenia” — można więc wybrać kompromis między głębszym rozumowaniem a niższymi opóźnieniami .

Wyniki testów: przewaga w rozumowaniu, strata w faktach

Inkling-Small nie wygrywa we wszystkim. Jego profil jest jednak interesujący: lepiej radzi sobie z rozumowaniem, zadaniami programistycznymi i pytaniami naukowymi, natomiast większy Inkling zachowuje przewagę w zapamiętywaniu faktów i matematyce konkursowej .

Źródła:

Najważniejsze wnioski:

• Rozumowanie: w teście Humanity’s Last Exam (HLE, wersja tekstowa) Inkling-Small uzyskał 31,6%, wyprzedzając Inklinga z wynikiem 29,7%. Przewaga utrzymywała się przy każdym badanym poziomie wysiłku rozumowania .
• Programowanie agentowe: wynik 80,2% w SWE-Bench Verified oznacza wzrost o 2,6 pkt proc. względem większego modelu. Test przeprowadzono w środowisku ograniczonym do terminala Bash, z trajektorią o długości 256 tys. tokenów .
• Wiedza naukowa: w GPQA Diamond, benchmarku obejmującym trudne pytania z dziedzin naukowych na poziomie akademickim, model osiągnął 89,5% wobec 87,2% dla Inklinga .
• Rzetelność faktograficzna: w SimpleQA Verified mniejszy model uzyskał 20,6%, podczas gdy większy osiągnął 43,9%. To wyraźny koszt strojenia pod kątem rozumowania zamiast samego zapamiętywania informacji .
• Niezależny indeks: wynik 40 punktów w Artificial Analysis Intelligence Index v4.1 jest tylko o jeden punkt niższy od wyniku Inklinga .

Jak działa model z 276 mld parametrów, który aktywuje 12 mld?

Inkling-Small to 42-warstwowy, rzadki model MoE. W każdej operacji wybiera sześciu z 256 ekspertów, a dodatkowo korzysta z dwóch ekspertów współdzielonych . W praktyce oznacza to, że nie wszystkie parametry są używane przy każdym tokenie. Model może więc przechowywać dużą różnorodność „umiejętności”, ale podczas pojedynczej odpowiedzi wykonuje obliczenia bliższe znacznie mniejszemu modelowi gęstemu.

Architektura należy do tej samej rodziny MoE co Inkling, lecz wykorzystuje mniej ekspertów — 256 zamiast około 576 — oraz mniej ekspertów aktywowanych w poszczególnych warstwach. Zastosowano także hybrydowy mechanizm uwagi, łączący pełną uwagę z uwagą w oknie przesuwnym, oraz regulowany poziom wysiłku rozumowania .

Warto jednak pamiętać, że „12 mld aktywnych parametrów” nie oznacza, iż do uruchomienia wystarczy sprzęt dla klasycznego modelu 12B. Cały checkpoint ma 276 mld parametrów i musi zostać odpowiednio załadowany do pamięci — oszczędność dotyczy przede wszystkim obliczeń wykonywanych dla poszczególnych tokenów .

Dwuetapowe dostrajanie po treningu

Thinking Machines Lab zastosowało dwuetapowy proces post-treningu, który łączy destylację wiedzy z dalszym uczeniem przez wzmacnianie .

1. Destylacja on-policy z wykorzystaniem Inklinga. Wcześniejszy checkpoint Inkling-Small uczył się od Inklinga pełniącego rolę nauczyciela. Uczeń generował własne trajektorie, czyli całe sekwencje odpowiedzi wraz z krokami rozumowania, a nauczyciel dostarczał gęstego sygnału na poziomie poszczególnych tokenów. Metoda ta łączy realistyczne przykłady z zachowania ucznia z dokładniejszą informacją zwrotną od większego modelu .
2. Dodatkowe dwa tygodnie uczenia przez wzmacnianie skoncentrowanego na agentach. Zespół kontynuował rozwój agentowego uczenia dla zadań programistycznych. Według przedstawionych wyników właśnie ten etap pomógł modelowi wyprzedzić Inklinga w testach rozumowania i kodowania .

Istotne jest to, że uczeń przewyższył nauczyciela w kilku zadaniach po zaledwie dwóch tygodniach dodatkowego uczenia przez wzmacnianie. Wynik ten wpisuje się w nowsze badania nad przenoszeniem zdolności z modeli słabszych do silniejszych za pomocą destylacji on-policy .

Wymagania sprzętowe: około trzy razy mniej pamięci VRAM

Największą praktyczną zaletą Inkling-Small jest niższy próg sprzętowy. Oficjalna karta modelu podaje następujące konfiguracje :

Dla porównania checkpoint Inklinga w BF16 wymagał około 1,9 TB łącznej pamięci VRAM . Oficjalny skwantyzowany wariant NVFP4 większego modelu potrzebował około 600 GB .

W przypadku Inkling-Small redukcja do około 600 GB w BF16 i 180 GB w NVFP4 oznacza, że model staje się bardziej realistyczną opcją dla średniej wielkości zespołów prowadzących dostrajanie LoRA, a w odpowiedniej konfiguracji także pełne dostrajanie parametrów . Model obsługuje formaty BF16, MXFP8 i NVFP4 .

Co to oznacza dla dostrajania?

• Pełne dostrajanie w BF16: wymaga klastra złożonego z 4 kart B300 albo 8 kart H200. To nadal kosztowna infrastruktura, ale dostępna dla dobrze finansowanych startupów i laboratoriów akademickich .
• Dostrajanie LoRA w NVFP4: może działać na dwóch kartach H200, co znacząco obniża koszt personalizacji modelu . LoRA, czyli Low-Rank Adaptation, aktualizuje niewielkie dodatkowe macierze zamiast całych wag modelu.
• Wnioskowanie w NVFP4: w trybie W4A4 model może zmieścić się na jednej karcie B300. To pierwszy model Thinking Machines, który według oficjalnych wymagań może działać na pojedynczym wysokiej klasy akceleratorze centrum danych .

Dostępność i cena

Inkling-Small jest dostępny w kilku formach :

• Pełne wagi: można pobrać z Hugging Face na licencji Apache 2.0.
• Tinker Playground: model można testować w rozmowie z użyciem tekstu, obrazów i dźwięku.
• Tinker API: platforma umożliwia dostrajanie LoRA; cena generowania wynosi 1,20 USD za milion tokenów .
• Dostrajanie przez Tinker: LoRA jest dostępna bezpośrednio na platformie Tinker .

Licencja Apache 2.0 pozwala na szerokie wykorzystanie i modyfikowanie wag, choć rzeczywiste koszty samodzielnego uruchomienia nadal pozostają wysokie ze względu na wymagania dotyczące pamięci GPU.

Kontekst kierownictwa Thinking Machines Lab

Thinking Machines Lab założyła była dyrektor techniczna OpenAI Mira Murati, po jej odejściu z OpenAI w 2024 roku. Wśród współzałożycieli znalazł się także John Schulman, wcześniej współtwórca zespołu OpenAI zajmującego się RLHF, czyli uczeniem ze wzmocnieniem na podstawie informacji zwrotnej od ludzi.

Lilian Weng, początkowo należąca do zespołu założycielskiego, odeszła później z Thinking Machines Lab i wróciła do OpenAI. W przedstawianym kontekście pozostającymi współzałożycielami startupu są Mira Murati i John Schulman .

Wniosek

Inkling-Small pokazuje, że liczba parametrów nie przekłada się automatycznie na wynik w każdym zadaniu. Model mający około jednej czwartej parametrów Inklinga przewyższa większego „nauczyciela” w publicznych testach rozumowania, programowania agentowego i wiedzy naukowej, a jego przygotowanie do pracy wymaga znacznie mniej pamięci GPU.

Nie jest to jednak uniwersalny zwycięzca. Inkling pozostaje wyraźnie lepszy w SimpleQA Verified, czyli w zadaniach wymagających trafnego odtwarzania faktów, oraz w AIME 2026. Dla zespołów budujących asystentów programistycznych i agentów AI Inkling-Small może być mimo to praktyczniejszym otwartym modelem — szczególnie gdy budżet sprzętowy nie pozwala na uruchomienie checkpointu wymagającego około 1,9 TB VRAM. W przypadku nowego modelu próg spada do około 600 GB w BF16 lub 180 GB w NVFP4.