thinkingmachines/Inkling-2-Mini · Hugging Face
Blog

thinkingmachines/Inkling-2-Mini · Hugging Face

2026.11.21
·Hugging Face·by Mineru
#AI#DL#LLM#ML#RAG

핵심 포인트

  • 1Inkling-2-Mini는 텍스트와 이미지 입력을 처리하는 26.4B 파라미터 규모의 다중 모달 Mixture-of-Experts(MoE) 기반 모델입니다.
  • 2중간 레이어를 3회 반복하는 Looped Transformer 아키텍처를 채택하여 적은 활성 파라미터로 효율적인 추론 성능을 제공하며 로컬 하드웨어 실행에 최적화되었습니다.
  • 3다양한 벤치마크에서 우수한 코딩 및 에이전트 역량을 입증했으나, 일반적인 foundation model의 한계인 환각 현상이나 특정 도메인에서의 정확도 문제는 주의가 필요합니다.

Inkling-2-Mini 모델 요약

Inkling-2-Mini는 Thinking Machines Lab에서 개발한 일반 목적의 Multimodal Autoregressive Looped Transformer 모델로, 텍스트와 이미지를 입력받아 텍스트를 생성하는 모델입니다. 이 모델은 연구 및 상용 애플리케이션 통합을 지원하기 위해 오픈 웨이트로 공개되었습니다.

핵심 방법론 및 아키텍처

Inkling-2-Mini는 효율성을 극대화하기 위해 설계된 독특한 구조를 가집니다.

  • 구조적 특징 (Architecture Type): 24개의 레이어를 가진 Decoder-only Transformer 구조를 기반으로 하며, Sparse Mixture-of-Experts (MoE) 피드포워드 레이어를 채택했습니다.
  • 루핑 메커니즘 (Looped Mechanism): 모델의 전체 24개 레이어 중 중간 12개 레이어를 3회 반복하여 처리하는 루핑 방식을 도입했습니다. 이를 통해 총 48회의 레이어 연산 효과를 구현하여 모델의 표현력을 높였습니다. 각 레이어에서 토큰은 128개의 전문가(Experts) 중 8개로 라우팅됩니다.
  • 파라미터 효율성: 총 파라미터 수는 26.4B이지만, 활성화되는 파라미터는 3.4B입니다. 루프를 한 번 통과할 때마다 약 1.0B의 추가적인 유효 파라미터가 활성화되어, 최종적으로 토큰당 총 5.4B의 활성 파라미터가 연산에 참여합니다.
  • 수치 표현: 모델은 20GB 용량의 체크포인트로 배포되며, NVFP4 및 MXFP8 혼합 정밀도를 지원합니다.

성능 및 기능

  • 멀티모달 능력: 이미지 인코딩을 위해 Vision Transformer를 사용하며, 텍스트와 이미지 정보를 공유 임베딩 공간으로 투영하여 공동 처리합니다.
  • 컨텍스트 윈도우: 최대 1M 토큰의 컨텍스트 윈도우를 지원하여 긴 문서 분석 및 에이전트 작업에 유리합니다.
  • 평가 결과: Coding, Agentic Search, Tool Use 등 다양한 벤치마크에서 기존 모델들 대비 뛰어난 성능을 보였습니다. 특히 SWEBench Pro v2 (Hard)에서 77.9%의 높은 정확도를 기록하였으며, 에이전트의 위험한 행동(Destructive actions) 측면에서 낮은 수치를 보여 안전성을 확보했습니다.

안전성 및 제한 사항

  • 안전성: On-policy distillation을 활용한 추가 정렬(Alignment) 학습을 통해 안전성을 강화했습니다. 다만, 루핑 메커니즘으로 인해 연산 과정에서의 생각의 사슬(Chain of Thought) 모니터링이 어렵다는 한계가 보고되었습니다.
  • 제한 사항:
    • Factual recall 및 지식 기반 질문에서의 정확도가 상위 모델 대비 떨어질 수 있습니다.
    • 디버깅이나 복잡한 추론 시 반복적인 루프에 빠지는 현상이 발생할 수 있습니다.
    • 에이전트 사용 시 파일 삭제 등 돌이킬 수 없는 작업을 수행할 위험이 있으므로 샌드박스 환경에서의 운용이 권장됩니다.
    • 비영어권 언어, 특히 중국어 등에서 성능 저하나 혼용 현상이 관찰되었습니다.

하드웨어 권장 사항

로컬 환경에서의 효율적 실행을 위해 NVIDIA DGX Spark, 32GB 이상의 메모리를 탑재한 Apple Silicon 장치, 또는 32GB 이상의 VRAM을 갖춘 범용 GPU 환경을 권장합니다. Hugging Face, SGLang, vLLM, llama.cpp 등 다양한 프레임워크와 호환됩니다.