Inkling-Small 공개: 4분의 1 크기로 대형 Inkling을 넘어선 모델

 

앞선 글에서 Thinking Machines Lab의 첫 오픈 웨이트 모델 Inkling을 소개했다.

OpenAI 전 CTO가 만든 첫 오픈 웨이트 모델, Inkling

 

전체 975B, 활성 파라미터 41B 규모의 대형 멀티모달 모델로, 높은 범용 성능과 함께 기업별 파인튜닝을 강조한 모델이었다.

Thinking Machines Lab은 Inkling 공개 약 2주 뒤인 2026년 7월 30일, 더 작은 모델인 Inkling-Small의 전체 가중치를 공개했다.

이름은 Small이지만 전체 276B 규모다. 일반적인 기준에서는 여전히 대형 모델이며, 975B인 기존 Inkling과 비교해 상대적으로 작다는 의미에 가깝다.

Inkling의 4분의 1 크기

Inkling-Small은 기존 Inkling과 동일한 Mixture-of-Experts, MoE 구조를 사용한다.

MoE는 모든 파라미터를 한 번에 사용하는 대신, 입력을 처리할 때 필요한 일부 Expert만 활성화하는 구조다.

구분	Inkling-Small	Inkling
전체 파라미터	276B	975B
활성 파라미터	12B	41B
입력	텍스트·이미지·오디오	텍스트·이미지·오디오
최대 컨텍스트	100만 토큰	100만 토큰
라이선스	Apache 2.0	Apache 2.0

전체 파라미터와 활성 파라미터 모두 기존 Inkling의 약 28~29% 수준이다. 컨텍스트 길이와 멀티모달 기능, 추론량을 조절하는 Thinking Effort 기능은 그대로 유지했다.

작아졌지만 코딩과 추론 성능은 오히려 높아졌다

일반적으로 경량 모델은 성능 일부를 포기하는 대신 비용과 속도를 개선한 버전으로 만들어진다.

하지만 Inkling-Small은 여러 코딩·추론 평가에서 대형 Inkling보다 높은 점수를 기록했다.

 

벤치마크	Inkling-Small	Inkling-SmallInkling
SWE-Bench Verified	80.2%	77.6%
Terminal-Bench 2.1	64.7%	63.8%
GPQA Diamond	89.5%	87.2%
HLE Text-only	31.6%	29.7%
ARC-AGI-2	40.1%	36.5%
IFBench	82.2%	79.8%

코드 수정 능력을 평가하는 SWE-Bench Verified에서 80.2%를 기록했으며, 터미널 환경에서 도구를 사용해 작업하는 Terminal-Bench 2.1에서도 기존 Inkling을 넘어섰다.

따라서 Inkling-Small은 단순히 Inkling을 압축한 모델이라기보다, 개선된 학습 방식을 적용한 후속 모델에 가깝다.

더 늦게 학습을 시작한 것이 장점이 됐다

Inkling-Small은 대형 Inkling보다 학습을 늦게 시작했다.

Thinking Machines Lab은 그사이 확인한 문제와 학습 결과를 바탕으로 사전학습 데이터 구성과 학습 레시피를 수정했다.

후처리 과정에서는 기존 Inkling을 Teacher 모델로 사용하는 On-policy Distillation도 적용했다.

일반적인 Distillation은 대형 모델이 만든 정답을 작은 모델이 따라 학습하는 방식이다. On-policy Distillation은 학습 중인 작은 모델이 실제로 생성한 결과를 기준으로 Teacher 모델의 피드백을 받는다.

즉, 정해진 모범 답안을 단순히 복사하기보다 Inkling-Small이 현재 자주 만드는 실수와 행동을 중심으로 학습하는 방식이다.

여기에 에이전트 코딩을 위한 강화학습을 추가로 2주간 진행했다. 이러한 학습 개선이 작은 모델이 대형 Inkling보다 코딩과 추론에서 높은 결과를 낸 주요 배경으로 설명된다.

지식과 사실성에서는 대형 Inkling이 여전히 우위

Inkling-Small이 모든 영역에서 더 좋은 것은 아니다.

사실성을 평가하는 SimpleQA Verified에서는 Inkling-Small이 20.6%, 기존 Inkling이 43.9%를 기록했다. 광범위한 지식을 평가하는 Global MMLU Lite 역시 Inkling-Small 86.7%, Inkling 88.7%로 대형 모델이 높았다.

모델 크기를 줄이면서 코딩, 추론, 도구 사용 능력은 강화했지만 모델 내부에 저장된 지식의 범위와 사실성은 일부 감소한 것이다.

이를 기준으로 보면 두 모델의 용도도 구분할 수 있다.

• 자체 지식과 사실성이 중요한 작업: Inkling
• 검색이나 RAG를 연결한 코딩·업무 에이전트: Inkling-Small
• 낮은 비용으로 반복 호출하는 서비스: Inkling-Small
• 복잡한 지식 기반 질의응답: Inkling 또는 외부 검색 연결

Inkling-Small을 RAG나 검색 도구와 결합한다면 부족한 내부 지식을 보완하면서 코딩·추론·도구 사용 능력을 활용할 수 있다.

이미지와 오디오 기능도 유지했다

Inkling-Small은 텍스트뿐 아니라 이미지와 오디오를 함께 처리한다.

이미지는 40×40픽셀 크기의 패치로 나눠 처리하며, 오디오는 dMel 스펙트로그램으로 변환한다. 이후 이미지·오디오 정보가 텍스트 토큰과 함께 하나의 Transformer에서 처리된다.

시각 작업에서는 Python을 이용해 이미지를 자르거나 확대하고, 작은 글자와 차트의 세부 영역을 프로그램으로 확인하는 능력도 강화했다.

주요 멀티모달 평가 결과는 다음과 같다.

벤치마크	Inkling-Small	Inkling
MMMU Pro	74.0%	73.5%
CharXiv + Python	81.3%	82.0%
Audio MC	54.9%	56.6%
MMAU	77.0%	77.2%
VoiceBench	90.1%	91.4%

이미지와 오디오 평가에서는 대형 Inkling과 거의 비슷한 수준을 유지한다. 문서·차트 분석, 수학 이미지 문제, 음성 이해와 같은 작업에 활용할 수 있다.

비용은 기존 Inkling의 약 3분의 1

Inkling-Small의 Tinker 기준 출력 가격은 100만 토큰당 1.20달러다. 기존 Inkling은 4.05달러이므로 출력 비용은 약 30% 수준이다.

Thinking Effort를 조절하면 작업 난도에 따라 추론 토큰도 줄일 수 있다.

간단한 분류나 요약에는 낮은 Effort를 사용하고, 복잡한 코딩이나 에이전트 작업에는 높은 Effort를 적용하는 방식이다. 모델 크기와 추론량을 함께 줄일 수 있어 반복 호출이 많은 서비스에 더 적합하다.

다만 276B 규모이기 때문에 이름만 보고 개인용 GPU에서 실행할 수 있는 경량 모델로 생각해서는 안 된다. 기존 Inkling보다 배포 부담이 크게 낮아졌지만, 여전히 데이터센터급 환경이나 외부 추론 플랫폼을 사용하는 것이 현실적이다.

전체 가중치는 Apache 2.0 라이선스로 공개됐으며, Tinker에서는 텍스트·이미지·오디오 입력과 파인튜닝을 지원한다.

벤치마크 수치를 볼 때 주의할 점

공개된 대부분의 평가는 Thinking Effort 0.99, Temperature 1.0 조건으로 진행됐다. 실제 서비스에서 추론량을 낮게 설정하면 동일한 점수가 나오지 않을 수 있다.

SWE-Bench Verified는 Thinking Machines Lab의 Bash 전용 하네스가 사용됐으며, Terminal-Bench 2.1 역시 내부 코딩 하네스에서 평가됐다. 외부 모델 중 일부는 각 개발사가 공개한 자체 평가 수치를 사용했다.

따라서 모든 모델을 완전히 동일한 조건에서 비교한 결과라기보다 Inkling-Small의 대략적인 성능 위치와 효율을 보여주는 자료로 보는 것이 적절하다.

마무리

Inkling-Small의 핵심은 모델 크기만 줄인 것이 아니다.

기존 Inkling보다 전체·활성 파라미터를 약 70% 줄이면서, 개선된 데이터와 학습 방식으로 코딩·추론·도구 사용 성능을 높였다. 이미지와 오디오 성능도 대부분 유지했으며, 출력 비용은 기존 모델의 약 3분의 1로 낮췄다.

반면 모델 내부의 지식 범위와 사실성에서는 대형 Inkling이 여전히 우위에 있다.

정리하면 두 모델의 역할은 다음과 같다.

• Inkling
  폭넓은 지식과 사실성을 갖춘 대형 범용 기반 모델
• Inkling-Small
  낮은 비용과 높은 코딩·에이전트 효율을 목표로 한 실용형 모델

앞서 공개된 Inkling이 Thinking Machines Lab의 모델 개발 방향을 보여줬다면, Inkling-Small은 이를 실제 파인튜닝과 서비스에 적용하기 위해 비용과 효율을 개선한 모델이라고 볼 수 있다.

참고 자료

• Thinking Machines Lab, 「Introducing Inkling-Small」 https://thinkingmachines.ai/news/inkling-small/

Introducing Inkling-Small