Kimi K3는 2.8조 개의 파라미터로 구축된 세계 최초의 오픈 3T-class 모델로, 장기적인 코딩, 지식 업무, 추론 영역에서 프론티어 수준의 성능을 제공합니다. 100만 토큰의 컨텍스트 윈도우와 네이티브 비전 기능을 갖추고 있으며, 특히 Kimi Delta Attention(KDA) 및 Attention Residuals(AttnRes)와 같은 혁신적인 아키텍처를 도입하여 정보 흐름과 효율성을 극대화했습니다.

핵심 방법론 및 아키텍처

Kimi K3는 컴퓨팅 자원을 지능으로 변환하는 효율성을 K2 대비 약 2.5배 향상시켰습니다. 주요 기술적 구성은 다음과 같습니다:

1. KDA 및 AttnRes: KDA는 효율적인 어텐션 스케일링을 지원하며, AttnRes는 표현값을 단순히 누적하지 않고 깊이에 따라 선택적으로 검색하여 모델 깊이에 따른 정보 전달 능력을 개선합니다.
2. Stable LatentMoE: 896개의 전문가 모델(Expert) 중 16개를 활성화하는 희소성(Sparsity) 구조를 채택했습니다. 여기서 Quantile Balancing을 통해 라우터 점수 분위수에서 전문가 할당을 직접 도출함으로써 휴리스틱 업데이트와 민감한 하이퍼파라미터를 제거했습니다.
3. 최적화 기법:
   • Per-Head Muon: 어텐션 헤드를 독립적으로 최적화하여 대규모 환경에서의 적응적 학습을 구현합니다.
   • SiTU(Sigmoid Tanh Unit) 및 Gated MLA: 활성화 제어와 어텐션 선택성을 각각 향상합니다.
   • MXFP4/MXFP8: SFT(Supervised Fine-Tuning) 단계부터 양자화 인지 학습을 적용하여 하드웨어 호환성을 확보했습니다.

주요 기능 및 성능

• Coding & Agentic Capability: GPU 커널 최적화, MiniTriton 컴파일러 구축, 3D 게임 개발 및 칩 설계(Nangate 45nm 라이브러리 활용) 등 복잡한 에이전트 과업을 자율적으로 수행합니다.
• Vision-in-the-loop: 코드와 실시간 스크린샷을 순환적으로 처리하여 3D 환경 구축 및 영상 편집 등의 멀티모달 작업을 고도로 자동화합니다.
• 인프라: Mooncake의 분해형 추론 아키텍처를 사용하여 캐시 히트율 90% 이상을 달성하며, 대규모 전문가 병렬(Expert-parallel) 학습 시 데이터 동기화 병목을 해결하는 완전 균형 학습 기법을 도입했습니다.

한계점

현재 Kimi K3는 Claude Fable 5나 GPT 5.6 Sol과 같은 최상위 독점 모델에 비해 사용자 경험 측면에서 일부 격차가 존재합니다. 또한, "생각 기록(thinking history)" 모드에 대한 민감도가 높아 에이전트 하네스 간 전환 시 생성 품질이 불안정해질 수 있으며, 너무 높은 주도성(proactiveness)으로 인해 명시적인 제약이 없는 경우 예상치 못한 판단을 내릴 수 있습니다. 모델 가중치는 2026년 7월 27일에 공식 공개될 예정입니다.