본 논문은 최신 모델인 Muse Spark 1.2를 기반으로 한 터미널 코딩 에이전트 Muse Code의 출시와 그 기술적 아키텍처 및 학습 방법론을 상세히 다룹니다.

1. Muse Code: 에이전트 아키텍처 및 운영 방식

Muse Code는 복잡한 소프트웨어 공학 작업을 수행하기 위해 설계된 시스템으로, 다음과 같은 핵심 구성 요소를 가집니다.

• Async Background Agents: 메인 에이전트 외에 세션 전반에 걸쳐 상주하는 다수의 비동기 백그라운드 에이전트를 운용합니다. 이는 정보 수집의 중복을 방지하고, 다단계 작업에서 지연 시간을 줄이며 인간의 개입을 최소화합니다.
• Runtime Design: 모든 모델 호출, 도구 실행, 편집 내역을 로컬 이벤트 로그에 기록하는 단일 진실 공급원(Single Source of Truth) 방식을 채택합니다. 이를 통해 시스템 충돌 시에도 즉시 이전 상태에서 작업을 재개할 수 있는 'Replay-exact' 및 'Restart-safe' 환경을 보장합니다.
• Bundled Skills: /plan(승인 기반 계획 수립), /grill(계획의 스트레스 테스트), /goal(목표 달성을 위한 실행) 등 작업 효율을 극대화하는 기본 기술을 탑재하고 있습니다.

2. Muse Spark 1.2: 학습 방법론 및 기술적 특징

Muse Spark 1.2는 코딩 성능 향상을 위해 설계된 모델로, 다음과 같은 고도화된 학습 과정을 거쳤습니다.

• Co-Training: Muse Code와 긴밀하게 통합되도록 공동 학습되었습니다. 여기에는 거부 샘플링(Rejection sampled)된 하네스 궤적(harness trajectories)과 하위 에이전트 압축 및 레시피 최적화가 포함됩니다.
• Long-Horizon Task Optimization: 대규모 저장소 생성 및 자동 연구와 같은 장기적 코딩 작업을 수행하기 위해 계획 수립(Planning), 목표 조건부(Goal conditioning), 컨텍스트 압축(Context compaction) 기술을 활용합니다.
• Self-Improvement: Muse Spark 1.1을 사용하여 난이도 높은 코딩 환경과 지침 준수 템플릿을 생성하고, 후보 솔루션을 평가하여 고품질 학습 데이터셋을 구축하는 루프를 구현했습니다.

3. 사례 연구: 커널 최적화 (Kernel Optimization)

Muse Spark 1.2는 1,000회 이상의 도구 호출을 통해 최대 24시간 동안 반복적인 GPU 커널 최적화 작업을 수행했습니다.

• KDA (Kernel Decay Attention): 외부 라이브러리 없이 Triton을 사용하여, 청크 중간점에서의 재중심화(re-centering)를 포함한 최적화 전략을 구사했습니다.
• MLA (Multi-Head Latent Attention): 공유 KV 잠재(shared KV latent)를 K와 V로 재사용하는 최적화와 함께, 커널 융합(kernel fusion) 및 타일링(tiling)을 결합한 2단계 Triton 파이프라인을 설계했습니다.

결론적으로, 본 모델은 대규모 컴퓨팅 자원 투입과 코드 전문 최적화 학습을 통해 엔드-투-엔드 개발자 워크플로우를 혁신적으로 자동화하는 데 그 목적이 있습니다.