Tests Are The New Moat | Daniel Saewitz
핵심 포인트
- 1상업적 오픈소스 프로젝트는 시간이 지남에 따라 축적된 기술 부채와 이전 버전과의 호환성 문제에 직면하는데, AI의 발전은 잘 문서화된 소프트웨어를 쉽게 복제할 수 있게 하여 새로운 비즈니스 도전을 야기합니다.
- 2Cloudflare가 Next.js 대안을 빠르게 개발한 사례처럼, 풍부한 문서와 정교한 test suite는 AI가 기존 API를 기반으로 더 현대적인 아키텍처 위에서 프로젝트를 효율적으로 '재구축'하는 것을 가능하게 합니다.
- 3이에 따라, 과거에는 문서나 인터페이스가 가치 있었지만 이제는 소프트웨어의 정확한 작동을 정의하는 test suite가 핵심 'moat'가 되어, SQLite처럼 테스트를 비공개로 전환하는 것이 상업적 오픈소스의 지속 가능성을 위한 전략으로 부상하고 있습니다.
이 논문은 AI 기술의 발전이 상업적 오픈 소스 프로젝트의 가치 창출 방식에 근본적인 변화를 가져오고 있으며, 특히 테스트 스위트(test suite)가 프로젝트의 새로운 진입 장벽(moat)이 되고 있다고 주장합니다.
전통적으로 오픈 소스 프로젝트는 점진적 개발을 통해 성장하며, 초기에는 가볍게 시작하여 채택을 얻고, 이에 적응하기 위해 방향을 전환하며, 이 과정에서 하위 호환성(backward compatibility)을 유지합니다. 이는 프로젝트가 거대해지면서 기반 인프라가 노후화되는 문제를 야기하며, 종종 포크(fork)나 전체 재작성(total rewrite)으로 이어지곤 했습니다(예: S3-compatible API, Kafka 호환 Redpanda). 순수한 자유-오픈 소스 소프트웨어(FOSS)의 경우 이러한 변화는 큰 문제가 되지 않았지만, 상업적 오픈 소스(Commercial Open Source, COSS)는 이타적인 목표와 사업적 인센티브 사이의 복합적인 균형을 맞추어야 합니다.
AI의 능력이 고도화됨에 따라, 무엇이 AI로 생성될 수 있고 무엇이 그렇지 않은지에 대한 인식이 변화하고 있습니다. 이 논문은 오픈 소스 소프트웨어의 테스트 스위트가 가장 가치 있는 요소로 부상하고 있다고 강조합니다. 과거에는 우수한 문서화, 강력한 계약(contracts), 잘 설계된 인터페이스, 그리고 포괄적인 테스트 스위트가 사용자들이 플랫폼을 신뢰하고 개발에 기여하도록 돕는 요소였습니다. 그러나 AI 시대에는 이러한 자산들이 오히려 경쟁사들이 해당 작업을 자체 기반 위에 쉽게 재구축할 수 있도록 만드는 역설적인 상황이 발생합니다. AI에게 모든 문서를 읽고, 테스트를 가져와서, 기반을 변경하도록 프롬프트(prompt)하는 것이 가능해졌기 때문입니다.
이러한 변화의 핵심적인 사례로 Cloudflare가 Next.js 대안을 구축한 경우가 제시됩니다. Next.js는 Vercel에 의해 매우 잘 문서화되고, 소프트웨어 계약이 명확하며, 포괄적이고 강력한 테스트 스위트를 갖추고 있습니다. Vercel이 Turbopack 재구축, 자체 MDX 파서 개발, 새로운 레이아웃 패러다임 혁신 등 복잡한 기반 아키텍처 재구축에 투자한 반면, Cloudflare는 Next.js의 "무거운 짐" 없이 AI를 통해 재구축할 수 있었습니다. Cloudflare는 최신 버전의 API 표면(API surface)만 목표로 삼고 하위 호환성을 신경 쓰지 않으며, Turbopack 대신 더 성능이 좋고 성숙한 bundler인 Vite 위에 구축하도록 AI에 지시할 수 있었습니다. 그 결과 Cloudflare는 Next.js API 표면의 94%를 커버하고 1,700개의 Vitest 테스트와 380개의 Playwright 테스트를 통과하는 결과물을 빠르게 도출했습니다. 여기서 테스트는 단순한 문서보다 훨씬 더 가치 있는 자산으로 작용했습니다.
이러한 패러다임의 변화에 대한 선견지명을 보여준 예시로 SQLite가 언급됩니다. SQLite는 핵심 코드는 오픈 소스이지만, 그들의 엄격한 테스트 스위트는 비공개 소스(closed-source)로 유지하고 있으며, 이는 핵심 소스 코드의 592배에 달하는 9천2백만 라인의 테스트 코드를 포함한다고 명시되어 있습니다. 이 논문은 이러한 접근 방식이 오픈 소스 정신에 반한다고 볼 수도 있지만, 동시에 프로젝트의 지속 가능성을 유지하는 "진입 장벽(moat)" 역할을 한다고 주장합니다.
결론적으로, AI 시대에는 작업을 얼마나 잘 문서화하고 계약을 명확하게 정의할수록, 오히려 다른 이들이 쉽게 복제할 수 있게 됩니다. 따라서 상업적 오픈 소스 프로젝트는 투자 보호를 위해 소프트웨어 계약(software contracts), 테스트(tests), 그리고 API 표면(API surface area)과 같은 요소들을 더욱 가치 있게 여기게 될 것이며, 특히 철저하게 검증된 테스트 스위트는 프로젝트의 새로운 경쟁 우위이자 독점적인 자산으로 부상할 것입니다. 이는 오픈 소스의 본질적인 이타주의와 상업적 인센티브 간의 긴장을 더욱 심화시키는 요인이 될 것입니다. 2026년 2월 25일의 추가 정보는 tldraw 프로젝트가 테스트 스위트를 비공개 저장소로 이전하려 했다는 루머를 통해 이러한 경향을 반영했지만, 다음 날 농담으로 밝혀져 실제로 이루어지지는 않았습니다.