본 논문은 Anthropic에서 AI 에이전트의 폭발적인 코드 생성량으로 인해 발생한 개발 병목 현상을 해결하기 위해 자체 개발한 버전 관리 시스템인 Scion의 설계와 구현 과정을 상세히 다룹니다.

배경 및 문제 제기

Anthropic은 2026년 5월부터 9월 사이 일일 코드 병합량이 2,500건에서 30,000건 이상으로 10배 이상 증가했습니다. 기존의 분산형 버전 관리 시스템인 git은 로컬 클라이언트가 전체 이력을 저장하고 오프라인 작업을 지원하는 모델로, 대규모 모노레포 환경에서 다음과 같은 한계에 봉착했습니다.

• 데이터 규모: 메인 브랜치 이력 100GB, 압축된 작업 복사본 25GB에 달하는 거대한 규모.
• 비효율성: CI 및 에이전트가 하루 2,500만 건의 체크아웃을 수행할 때 발생하는 방대한 데이터 트래픽.
• 확장성 한계: 수백 개의 git 미러 서버 운영이 관리 비용 및 성능 측면에서 더 이상 유지 불가능함.

Scion의 핵심 설계 원칙

Anthropic은 클라이언트(에이전트)가 항상 온라인 상태라는 점을 전제로, 다음과 같은 원칙을 바탕으로 Scion을 설계했습니다.

1. Always-online Clients: 클라이언트는 로컬 전체 사본을 유지하지 않고 필요할 때 서버에서 데이터를 가져옴.
2. Client-Server Asymmetry: 서버는 기록 관리, 병합, 리베이스 등 연산 중심 작업을 수행하고, 클라이언트는 제한적인 로컬 캐시와 가상화된 작업 디렉토리만을 관리.
3. API-first Design: CI나 도구가 저장소 이력을 조회할 때 로컬 복사본 없이도 API를 통해 직접 질의 가능.
4. Horizontal Scalability: 단일 장애점이나 중앙 집중식 데이터베이스 대신, 수평 확장이 가능한 분산 캐시와 Spanner를 활용한 메타데이터 관리.
5. Lock-free Commits: 대규모 병합을 효율적으로 처리하기 위해 잠금 없이 작업 가능한 비동기 방식 도입.

기술적 구조 및 방법론

Scion은 다음과 같은 고유한 데이터 구조와 아키텍처를 가집니다.

• Changeset: 작업의 단위로, 커밋의 차분(diff)과 파일 내용을 추상화하여 기록합니다. Packfile을 사용하지 않아 즉각적인 쓰기 및 읽기가 가능합니다.
• Derived Data: 커밋 그래프의 이력, 파일 블레임(blame) 등은 변경셋으로부터 재귀적으로 계산되는 '파생 데이터'로 관리됩니다. 이는 $D_{n} = f(D_{parent})$ 형태의 재귀적 정의를 통해 필요한 시점에만 계산되어 성능을 최적화합니다.
• Tiered Cache Architecture: scion-server(Spanner 기반 authoritative 저장소) $\rightarrow$ scion-cache(지역별 메모리 기반 캐시) $\rightarrow$ scion-daemon(로컬 노드 내 객체 저장소)의 3단계 계층 구조를 통해 99% 이상의 캐시 적중률을 유지합니다.
• Virtualization: 가상화된 체크아웃을 통해 필요한 파일만 디스크에 물질화(materialize)하여 체크아웃 속도를 수 분에서 수 초 단위로 단축했습니다.

AI 기반 개발의 교훈

• 개발 생산성 향상: 7명의 엔지니어 팀이 Claude를 활용하여 5개월 만에 시스템 전체를 구축 및 마이그레이션했습니다. 특히 Claude는 기존 프로토타입 대비 메모리 사용량을 20배 줄이고 속도를 4배 향상시키는 등 최적화를 수행했습니다.
• 운영 자동화: 'Superfan'이라 불리는 Claude 에이전트들이 실시간으로 시스템 텔레메트리와 로그를 감시하여 수동 관제보다 정교한 이상 탐지를 수행합니다.
• 새로운 패러다임: 수천 건의 동시 병합이 발생하는 환경에서는 글로벌 리포지토리 잠금이 비효율적이므로, post-merge 및 pre-deploy 단계에서의 자동화 테스트 강화로 전략을 전환했습니다.

결론적으로 Scion은 대규모 에이전트 기반 개발 환경에서 기존 VCS의 제약을 극복한 사례이며, Anthropic은 이를 통해 향후 AI가 주도하는 소프트웨어 개발 생태계의 변화에 맞춘 새로운 인프라 표준을 제시하고 있습니다.