Paper
Agentic coding and persistent returns to expertise
@AnthropicAI
2026.06.17
·Service·by Homin.Lee#Agentic Coding#AI#Expertise#Human-AI Collaboration#Labor Market
핵심 포인트
- 1Claude Code 사용 데이터 분석 결과, 사람들은 기획을 담당하고 AI는 실행을 전담하는 명확한 업무 분담이 이루어지고 있으며 시간이 지날수록 더 복잡하고 가치 있는 작업으로 활용 범위가 확대되고 있습니다.
- 2도메인 전문 지식은 Claude Code 활용의 핵심 동력으로, 코딩 실력보다는 사용자가 해결하려는 문제에 대한 깊은 이해도가 작업의 성공률과 효율성을 결정짓는 것으로 나타났습니다.
- 3소프트웨어 엔지니어가 아닌 직군도 전문 지식을 갖추면 엔지니어와 비슷한 수준의 성공률을 기록하고 있어, 에이전트 기반 코딩이 기술적 구현의 장벽을 낮추고 지식 노동 전반의 생산성을 재편하고 있습니다.
이 논문은 2025년 10월부터 2026년 4월까지 약 40만 건의 Claude Code 세션을 분석하여, Agentic coding 환경에서의 인간-AI 협업 패턴, 도메인 전문성의 역할, 그리고 그에 따른 경제적 시사점을 심층적으로 다룹니다.
핵심 방법론 (Core Methodology)
본 연구는 익명화된 세션 데이터를 기반으로, LLM을 활용한 대규모 분석 프레임워크를 구축했습니다.- Decision Attribution Classifier: 세션 내의 의미 있는 결정을 'Planning'(무엇을 할 것인가)과 'Execution'(어떻게 할 것인가)으로 분류합니다. 각 세션별로 사용자(User)와 Claude가 기여한 결정의 비율을 계산하여 업무 분담 구조를 수치화했습니다.
- Expertise Classifier: 사용자의 지시 정밀도, 검증 요청 방식, 교정 주체(사용자가 AI를 교정하는지, 그 반대인지)를 기반으로 사용자의 숙련도를 5단계 척도로 평가합니다.
- Success Attribution: 'Judged Success'(모델이 Transcript를 분석하여 판단)와 'Verified Success'(git commit, 테스트 통과 등 하드 데이터 존재 여부)를 결합하여 성공 여부를 정량화했습니다.
- Task Value Estimation: 실제 프리랜서 채용 플랫폼의 데이터를 기반으로 각 세션의 경제적 가치를 추정하는 모델을 적용했습니다.
주요 발견 (Key Findings)
- 업무 분담(Division of Labor): 일반적인 세션에서 사용자는 Planning 결정의 약 70%를 담당하며, Claude는 Execution 결정의 약 80%를 수행합니다. 이는 인간이 의사결정의 방향을 잡고, AI가 구현을 전담하는 체계가 정착되었음을 의미합니다.
- 전문성의 가치(Returns to Expertise): 도메인 전문성이 높을수록 세션당 성공 확률이 높으며, 특히 전문가일수록 Claude가 더 많은 액션(평균 12개 vs 5개)과 더 많은 결과물(약 5배 많은 텍스트 출력)을 생성합니다. 전문가는 문제 해결 과정에서 Claude를 더 효율적으로 조율하며, 실패 상황에서의 포기율(Abandonment Rate)도 초보자(19%)에 비해 훨씬 낮은 5~7% 수준입니다.
- 직군 간 격차 완화: 코딩 전문 직군과 비코딩 직군 간의 성공률 격차는 매우 작으며(약 7% 이내), 이는 Agentic coding 도구가 코딩 기술 자체보다 '문제를 이해하는 능력(Domain Expertise)'을 더 중요하게 만들고 있음을 시사합니다.
- 작업의 변화: 7개월의 관찰 기간 동안 코드 수정(Debugging) 비율은 절반으로 감소한 반면, 데이터 분석, 문서 작성, 소프트웨어 운영 등 고차원적인 작업 비중이 증가했습니다.