본 논문은 다양한 코딩 에이전트(coding agent)가 실제 개발 환경에서 외부 서비스나 도구를 선택하는 의사결정 과정을 체계적으로 분석한 연구 보고서입니다. 연구진은 기술 스택과 기업 규모를 반영하여 정교하게 설계된 75개의 가상 레포지토리를 구축하고, 총 16,893회의 실험을 수행하여 최종적으로 5,292회의 유효한 세션을 분석했습니다.

핵심 방법론 및 실험 설계

1. 레포지토리 구축: GitHub의 공개 데이터 통계를 기반으로 실제 기업 환경을 모사한 75개의 레포지토리를 생성했습니다. 각 레포지토리에는 가상의 기업 정보, Git 기록, API 키 및 실제 lockfile이 포함되었습니다.
2. 페르소나 기반 프롬프트: 실험은 Vibe-coder, Junior engineer, Senior engineer, Large enterprise engineer라는 4가지 프로필을 가진 'Simulated human'을 통해 요청이 전달되었습니다. 전체 세션의 20-25%에는 비용이나 사용량 같은 구체적인 제약 조건을 추가하여 변수를 주었습니다.
3. 오케스트레이션 및 샌드박스: Gemini 3.7 Flash를 오케스트레이터로 사용하여 에이전트가 단일 프롬프트가 아닌, 코드베이스 분석 및 솔루션 제안을 거치는 인간 친화적인 워크플로우를 구성했습니다. 실험은 E2B, Blaxel, Daytona와 같은 샌드박스 환경에서 실행되었습니다.
4. 검증 프로세스: 또 다른 Gemini 3.7 Flash 인스턴스가 심사위원 역할을 수행하여 세션의 유효성을 검증하고, 솔루션 채택 여부와 최종 승자를 식별했습니다.

주요 연구 결과 및 통찰

• 에이전트별 의사결정 전략 차이:
  • Cursor는 웹 검색 비중이 높고, Codex는 site: 연산자를 활용한 타겟팅 검색에 능하며, Claude Code는 주로 사전 학습된 지식(priors)에 의존하나 전문 분야에서는 검색 비중을 높이는 특성을 보였습니다.
  • 에이전트 간 도구 선택 일치율은 42%에 불과하며, Claude Code는 타 에이전트 대비 인하우스(in-house) 개발을 약 2배 더 선호하는 경향을 보였습니다.
• 레포지토리 컨텍스트의 중요성: 동일한 요구사항이라도 프로그래밍 언어와 프레임워크에 따라 선호되는 서비스가 달라졌습니다. (예: TypeScript에서는 Resend, Go에서는 Postmark가 우세)
• 언급량과 채택률의 괴리: PayPal, LangChain, Supabase 등은 자주 언급되지만 실제 구현 단계에서는 낮은 채택률을 보였습니다. 이는 특정 서비스가 제공하는 과도한 기능(bundled features)이나 가격 정책이 에이전트의 선택을 저해하는 요인으로 작용함을 시사합니다.
• 시장 점유율 분포: Stripe(지불 서비스)처럼 한 시장을 압도적으로 점유하는 케이스가 있는 반면, 데이터베이스(Neon vs Cloud Native)나 메일 서비스(Resend vs Postmark) 분야는 경쟁이 매우 치열한 것으로 나타났습니다.

본 연구는 코딩 에이전트가 단순히 코드를 생성하는 것을 넘어, 비즈니스 맥락과 기술적 제약을 고려하여 어떻게 외부 서비스를 도입하는지에 대한 가시성을 제공하며, 향후 개발자 도구 및 SaaS 기업들에게 중요한 시장 피드백을 제시하고 있습니다.