Blog
thinkingmachines/Inkling-2-Mini · Hugging Face
2026.11.21
·Hugging Face·by Mineru#AI#DL#LLM#ML#RAG
핵심 포인트
- 1Inkling-2-Mini는 텍스트와 이미지 입력을 처리하는 26.4B 파라미터 규모의 다중 모달 Mixture-of-Experts(MoE) 기반 모델입니다.
- 2중간 레이어를 3회 반복하는 Looped Transformer 아키텍처를 채택하여 적은 활성 파라미터로 효율적인 추론 성능을 제공하며 로컬 하드웨어 실행에 최적화되었습니다.
- 3다양한 벤치마크에서 우수한 코딩 및 에이전트 역량을 입증했으나, 일반적인 foundation model의 한계인 환각 현상이나 특정 도메인에서의 정확도 문제는 주의가 필요합니다.
Inkling-2-Mini 모델 요약
Inkling-2-Mini는 Thinking Machines Lab에서 개발한 일반 목적의 Multimodal Autoregressive Looped Transformer 모델로, 텍스트와 이미지를 입력받아 텍스트를 생성하는 모델입니다. 이 모델은 연구 및 상용 애플리케이션 통합을 지원하기 위해 오픈 웨이트로 공개되었습니다.
핵심 방법론 및 아키텍처
Inkling-2-Mini는 효율성을 극대화하기 위해 설계된 독특한 구조를 가집니다.- 구조적 특징 (Architecture Type): 24개의 레이어를 가진 Decoder-only Transformer 구조를 기반으로 하며, Sparse Mixture-of-Experts (MoE) 피드포워드 레이어를 채택했습니다.
- 루핑 메커니즘 (Looped Mechanism): 모델의 전체 24개 레이어 중 중간 12개 레이어를 3회 반복하여 처리하는 루핑 방식을 도입했습니다. 이를 통해 총 48회의 레이어 연산 효과를 구현하여 모델의 표현력을 높였습니다. 각 레이어에서 토큰은 128개의 전문가(Experts) 중 8개로 라우팅됩니다.
- 파라미터 효율성: 총 파라미터 수는 26.4B이지만, 활성화되는 파라미터는 3.4B입니다. 루프를 한 번 통과할 때마다 약 1.0B의 추가적인 유효 파라미터가 활성화되어, 최종적으로 토큰당 총 5.4B의 활성 파라미터가 연산에 참여합니다.
- 수치 표현: 모델은 20GB 용량의 체크포인트로 배포되며, NVFP4 및 MXFP8 혼합 정밀도를 지원합니다.
성능 및 기능
- 멀티모달 능력: 이미지 인코딩을 위해 Vision Transformer를 사용하며, 텍스트와 이미지 정보를 공유 임베딩 공간으로 투영하여 공동 처리합니다.
- 컨텍스트 윈도우: 최대 1M 토큰의 컨텍스트 윈도우를 지원하여 긴 문서 분석 및 에이전트 작업에 유리합니다.
- 평가 결과: Coding, Agentic Search, Tool Use 등 다양한 벤치마크에서 기존 모델들 대비 뛰어난 성능을 보였습니다. 특히 SWEBench Pro v2 (Hard)에서 77.9%의 높은 정확도를 기록하였으며, 에이전트의 위험한 행동(Destructive actions) 측면에서 낮은 수치를 보여 안전성을 확보했습니다.
안전성 및 제한 사항
- 안전성: On-policy distillation을 활용한 추가 정렬(Alignment) 학습을 통해 안전성을 강화했습니다. 다만, 루핑 메커니즘으로 인해 연산 과정에서의 생각의 사슬(Chain of Thought) 모니터링이 어렵다는 한계가 보고되었습니다.
- 제한 사항:
- Factual recall 및 지식 기반 질문에서의 정확도가 상위 모델 대비 떨어질 수 있습니다.
- 디버깅이나 복잡한 추론 시 반복적인 루프에 빠지는 현상이 발생할 수 있습니다.
- 에이전트 사용 시 파일 삭제 등 돌이킬 수 없는 작업을 수행할 위험이 있으므로 샌드박스 환경에서의 운용이 권장됩니다.
- 비영어권 언어, 특히 중국어 등에서 성능 저하나 혼용 현상이 관찰되었습니다.