4분의 1 크기로 교사 모델을 능가하다: Thinking Machines Lab의 Inkling-Small

전작 Inkling(975B 총 파라미터, 활성 41B)의 약 4분의 1 크기임에도 불구하고, Inkling-Small은 몇 가지 주요 벤치마크에서 더 큰 모델과 동등하거나 이를 능가하는 성능을 보여주면서도 실행 및 파인튜닝에 필요한 하드웨어 사양을 극적으로 낮췄습니다 . 이 모델은 멀티모달 입력(텍스트, 이미지, 오디오), 100만 토큰의 컨텍스트 윈도우, 그리고 조절 가능한 사고 노력(thinking effort) 기능을 지원합니다 .

벤치마크 성능: 어디서 이기고, 어디서 지는가

Inkling-Small은 가장 까다로운 공개 벤치마크 3개에서 Inkling을 능가하지만, 사실적 회상 능력과 수학 경시대회에서는 뒤쳐집니다 .

출처:

핵심 요점:

• 추론 능력: Inkling-Small은 '인류의 마지막 시험(Humanity's Last Exam, HLE)' 텍스트 전용 부문에서 31.6%를 기록하며 Inkling의 29.7%를 앞질렀습니다. 이러한 우위는 모든 사고 예산(thinking budget)에서 일관되게 나타납니다 .
• 코딩 에이전트: SWE-Bench Verified(배시 전용 하네스, 256K 트레이젝토리)에서 80.2%를 기록하며 2.6%p 향상되었습니다 .
• 과학 지식: 대학원 수준 과학 문제를 평가하는 GPQA Diamond에서 89.5%로, Inkling의 87.2%를 능가합니다 .
• 사실성 격차: 더 작은 모델은 SimpleQA Verified에서 20.6%에 그쳐 Inkling(43.9%)에 크게 뒤집니다. 이는 암기보다 추론에 중점을 둔 증류 과정에서 발생하는 알려진 트레이드오프입니다 .
• 제3자 종합 지수: AI 성능을 종합 평가하는 Artificial Analysis Intelligence Index v4.1에서 40점을 기록, Inkling의 41점과 단 1점 차이를 보였습니다 .

아키텍처: 276B MoE가 단 12B만 활성화되어도 동작하는 원리

Inkling-Small은 42개의 레이어로 구성된 희소 MoE 트랜스포머로, 각 토큰에 대해 256개의 전문가 중 6개와 2개의 공유 전문가가 활성화됩니다 . 이 모델은 하이브리드 어텐션(전체 어텐션과 슬라이딩 윈도우 어텐션 혼합)을 사용하며, 조절 가능한 사고 노력 기능을 지원하여 개발자가 지연 시간과 추론 깊이 사이에서 균형을 맞출 수 있습니다 .

아키텍처는 Inkling과 동일한 MoE 패밀리이지만, 총 전문가 수가 더 적고(256개, Inkling은 약 576개) 레이어당 활성화되는 전문가 수도 적습니다. 그 결과 추론 시에는 12B 파라미터의 덴스 모델처럼 동작하지만, 가중치에는 276B 모델의 용량을 그대로 유지합니다 .

2단계 포스트 트레이닝 과정

Thinking Machines은 현재 업계 표준 포스트 트레이닝 기법으로 연구되고 있는 2단계 레시피를 사용했습니다 :

1. Inkling으로부터의 온폴리시 증류(On-policy Distillation, OPD) — Inkling-Small 프리뷰 체크포인트는 Inkling을 교사 모델로 사용하여 훈련되었습니다. 학생 모델(Student)이 자신의 트레이젝토리를 샘플링하는 동안 교사 모델은 토큰 수준의 세밀한 지도 신호(dense token-level supervision)를 제공했습니다 . 이 기법은 증류의 샘플 효율성과 온폴리시 훈련의 분포 현실성을 결합합니다.
2. 2주간의 추가 에이전트 중심 강화학습 — 팀은 에이전트 코딩 강화학습(RL)을 계속 확장하여, 추론 및 코딩 벤치마크에서 모델이 Inkling을 능가하도록 만들었습니다 .

이 레시피는 학생 모델이 단 2주간의 추가 RL만으로 여러 작업에서 교사 모델을 능가했다는 점에서 주목할 만하며, 이는 온폴리시 증류를 통한 약-강 일반화(Weak-to-Strong Generalization)에 대한 최근 연구 결과와 일치합니다 .

하드웨어 요구 사항: VRAM 약 3분의 1로 감소

Inkling-Small은 오픈 웨이트 모델의 하드웨어 진입 장벽을 대폭 낮췄습니다. 다음은 모델 카드에 명시된 공식 구성입니다 :

참고로, Inkling의 BF16 체크포인트는 약 1.9TB의 총 VRAM이 필요했습니다 . Inkling의 공식 NVFP4 양자화 버전은 약 600GB가 필요했습니다 .

이 약 3배의 VRAM 감소로 인해 Inkling-Small은 Thinking Machines 제품군 중 중간 규모의 팀도 대규모 멀티노드 클러스터 없이 LoRA 및 풀 파라미터 파인튜닝을 현실적으로 수행할 수 있는 첫 번째 모델이 되었습니다 . 이 모델은 BF16, MXFP8, NVFP4 수치 형식을 지원합니다 .

파인튜닝에 미치는 의미

• BF16의 풀 파라미터 파인튜닝: B300 4장 또는 H200 8장 규모의 클러스터가 필요합니다. 상당한 투자이지만, 자금이 충분한 스타트업이나 대학 연구실에서 접근 가능한 수준입니다 .
• NVFP4의 LoRA 파인튜닝: H200 2장으로 가능하여, 커스터마이징 진입 장벽을 대폭 낮췄습니다 .
• NVFP4의 추론: W4A4 모드에서 단일 B300 GPU에 적합합니다. 단일 데이터센터 GPU로 실행 가능한 최초의 Thinking Machines 모델입니다 .

사용 가능성 및 비용

Inkling-Small은 여러 방식으로 사용할 수 있습니다 :

• 전체 가중치: Hugging Face에서 Apache 2.0 라이선스로 제공됩니다.
• Tinker 플레이그라운드: 텍스트, 이미지, 오디오로 모델과 채팅할 수 있습니다.
• Tinker API: LoRA를 통한 파인튜닝이 가능합니다. 출력 가격은 토큰 100만 개당 1.20달러입니다 .
• Tinker API 파인튜닝: LoRA 파인튜닝이 Tinker 플랫폼을 통해 제공됩니다 .

리더십 구성

Thinking Machines Lab은 2024년 OpenAI를 떠난 전 OpenAI CTO 미라 무라티(Mira Murati) 가 설립했습니다. 존 슐먼(John Schulman) (전 OpenAI RLHF 팀 공동 창립자)도 공동 창업자입니다. 초기 창립 멤버였던 릴리안 웽(Lilian Weng) 은 Thinking Machines Lab을 떠나 OpenAI로 복귀했습니다. 이에 따라 미라 무라티와 존 슐먼만이 남은 공동 창업자가 되었습니다 .

결론

Inkling-Small은 Thinking Machines Lab의 강력한 자신감을 보여줍니다. 올바른 포스트 트레이닝 레시피를 사용하면, 4분의 1 크기의 모델이 더 큰 교사 모델을 추론 및 에이전트 코딩 작업에서 능가할 수 있을 뿐만 아니라 따라잡을 수도 있습니다. Inkling(1.9TB VRAM)을 실행하는 데 부담을 느꼈던 개발자와 조직에게 Inkling-Small은 600GB(BF16) 또는 180GB(NVFP4)라는 훨씬 낮은 하드웨어 요구 사항으로 문을 열어줍니다. 사실적 회상 능력에서 눈에 띄는 손실이 있지만, 코딩, 추론 및 명령 수행 워크로드에 있어서 Inkling-Small은 2026년 7월 현재 가장 실용적인 오픈 웨이트 선택지입니다.