When AI builds itself
핵심 포인트
- 1Anthropic은 AI 시스템이 코드 작성 및 연구 실험 실행 능력을 크게 향상시켜 AI 개발 속도를 획기적으로 가속화하고 있음을 증명합니다.
- 2이러한 추세가 지속되면 인간의 역할은 방향 설정과 판단으로 한정되고, AI가 개발 대부분을 자동화하며 연구 속도는 복리적으로 가속화될 것입니다.
- 3이는 통제 상실 위험을 증가시키므로, Anthropic은 사회가 적응할 시간을 벌기 위해 검증 가능한 방식으로 선두 AI 개발을 늦추거나 일시 중단할 것을 제안합니다.
이 논문은 Anthropic의 AI 개발 프로세스에 AI 시스템이 점점 더 깊이 관여하고 있으며, 이것이 미래에 "재귀적 자기 개선(recursive self-improvement, RSI)"으로 이어질 수 있음을 보여주는 증거를 제시합니다. 과거에는 AI 개발의 모든 단계가 인간에 의해 주도되었지만, 현재 Anthropic에서는 AI 시스템이 개발 작업의 점점 더 많은 부분을 위임받고 있어 개발 속도가 가속화되고 있습니다.
진행 상황 및 현재 상태:
- AI 개발의 가속화:
- Anthropic 엔지니어들은 2021-2025년에 비해 2026년 2분기에 분기당 평균 8배 더 많은 코드를 작성하고 있습니다. 이는 대부분 Claude가 코드를 작성하고 엔지니어가 이를 지시하고 검토하기 때문입니다.
- 2026년 5월 기준으로 Anthropic 코드베이스에 병합되는 코드의 80% 이상이 Claude에 의해 작성되었습니다. 이는 2025년 2월 Claude Code가 연구 프리뷰로 출시되기 전에는 한 자릿수에 불과했습니다.
- 코드라인(Lines of Code)이라는 지표는 불완전하지만, 생산성의 가속화를 시사합니다. 엔지니어 대상 설문조사에서도 중간값 응답자는 AI 모델 없이 작업했을 경우에 비해 약 4배의 생산성 향상을 체감하고 있다고 밝혔습니다.
- AI 역량의 확장 (핵심 방법론):
- 엔지니어링:
- Claude는 인간이 목표를 제시하면 방법론을 스스로 파악하여 불완전하게 명시된 문제도 해결할 수 있습니다.
- Claude가 작성한 코드의 품질은 지속적으로 향상되고 있습니다. 2025년 말에는 인간 작성 코드보다 품질이 떨어졌지만, 현재는 거의 동등하며, 1년 내에는 더 우수해질 것으로 예상됩니다.
- Claude의 세션 성공률은 증가하고 있으며, 특히 가장 개방적이고 복잡한 작업(예: 명확한 사양이 없는 문제)에서 2026년 5월 76%에 도달했습니다(6개월 만에 50%p 상승). 예를 들어, Claude는 훈련 작업 충돌을 2시간 만에 진단하고 해결하여 2-3일 분량의 작업을 완료했습니다.
- 자동화된 Claude 코드 리뷰어는 코드베이스 변경 사항의 버그 및 보안 결함을 감지하여, 과거 인시던트의 약 1/3을 프로덕션 단계에 도달하기 전에 잡아낼 수 있었을 것으로 분석됩니다.
- Claude는 인간이라면 4년이 걸렸을 API 오류 수정 작업(800건 이상)을 단기간에 완료하는 등, 인간이 미루었거나 불가능했을 작업들을 수행하고 있습니다.
- 엔지니어링:
- 연구:
- 실험 실행: Claude는 명확하게 정의된 실험 내에서 최적화 단계를 수행하는 데 탁월합니다. 예를 들어, 작은 AI 모델 훈련 코드의 속도 향상 실험에서, 2025년 5월 Claude Opus 4는 시작 코드 대비 ~3배의 속도 향상을, 2026년 4월 Claude Mythos Preview는 ~52배의 속도 향상을 달성했습니다. 이는 숙련된 인간 연구자가 4-8시간 동안 달성할 수 있는 4배 향상을 훨씬 뛰어넘는 수치입니다.
- 실험 제안 및 방향 설정: Claude는 자체적으로 실험을 제안하는 능력도 향상되고 있습니다. 2026년 4월, Claude 기반 에이전트들은 AI 안전 분야의 미해결 문제("약한 모델이 강한 모델을 신뢰할 수 있게 감독할 수 있는가?")를 해결하기 위해 가설을 제안하고, 테스트하며, 결과를 공유하고 반복하는 등 종단 간 연구 프로젝트를 수행했습니다. 인간 연구자가 1주일 동안 달성한 격차의 23%를 에이전트들은 800시간 동안 97% 회복했습니다.
- 연구 판단 개선: 연구자들이 개방형 조사 문제에서 벗어난 "우회" 지점에서, 다양한 Claude 모델들에게 다음 단계를 예측하도록 요청한 결과, 2025년 11월 Opus 4.5는 인간의 선택보다 51% 더 나은 제안을 했고, 2026년 4월 Mythos Preview는 64%로 향상되었습니다. 이는 모델이 연구에 필요한 판단력을 발전시키고 있다는 초기 신호입니다.
- 인간의 역할 변화:
- 현재까지 인간의 비교 우위는 "큰 그림을 보는 것"과 "즉각적인 작업의 한계를 넘어서 생각하는 것"에 있습니다.
- AI가 작성한 코드 품질이 인간과 동등해지면 인간은 코드를 직접 작성하는 대신 검토하는 역할로 전환될 것입니다.
- AI가 실험을 실행할 수 있게 되면서, 인간의 역할은 "어떤 실험을 실행할 가치가 있는가?"와 같은 연구 방향 설정 및 판단에 집중됩니다.
- 연구 방향 설정과 같은 소수 작업에 인간이 집중하고 나머지는 Claude가 처리함으로써, 각 엔지니어 또는 연구원은 과거보다 훨씬 더 많은 작업을 지시할 수 있게 되어 생산성이 크게 향상됩니다.
미래 시나리오 및 함의:
논문은 세 가지 가능한 미래 시나리오를 제시합니다.
- 현재의 AI 역량이 널리 확산되지만 발전 추세는 정체되는 경우: AI 발전의 S-곡선이 꺾이거나, 컴퓨팅/에너지 공급망, 새로운 아키텍처 부재 등 외부적 제약으로 인해 발전이 둔화될 수 있습니다. 이 시나리오에서도 이미 상당한 사회적 변화가 예상되지만, 저자들은 가능성이 낮다고 판단합니다.
- AI 연구소에서 지속적인 효율성 향상이 발생하는 경우 (가장 가능성 높음): AI 개발이 상당히 자동화되지만, 인간은 여전히 연구 방향을 설정하고 결과를 판단합니다. 이 시나리오에서는 100명 규모의 회사가 10,000명 또는 100,000명 규모의 조직의 작업을 수행할 수 있을 정도로 각 개인의 생산성이 기하급수적으로 증가합니다. 이는 지식 노동과 정부 서비스에 혁명을 가져올 수 있으나, 권위주의적 감시나 조작과 같은 해로운 목적으로도 사용될 수 있습니다. 이는 암달의 법칙(Amdahl's law)에 따라, 전체 속도는 병목 현상에 의해 제한될 것입니다 (예: 인간 코드 검토).
- AI 시스템이 완전한 재귀적 자기 개선 능력을 갖추는 경우: AI 시스템이 스스로를 설계하고 개선하며, 인간의 독창성에 필적하는 능력을 개발한다면, AI 개발 속도는 컴퓨팅 가용성 또는 효율성 발견 속도에 의해서만 결정됩니다. 인간의 역할은 개발에서 크게 줄어들고, 주로 AI 시스템이 운영하는 "가상 실험실"에 대한 감독, 검증, 확인으로 전환될 것입니다. 이는 과학 전반에 혁명을 가져올 수 있지만, 통제력 상실의 위험을 증가시키고, 경제 및 사회에 미칠 영향은 예측하기 매우 어렵습니다.
권고 사항:
논문은 AI 발전 속도를 늦추거나 일시적으로 중단하여 사회 구조와 정렬 연구가 기술 발전을 따라잡을 시간을 버는 것이 바람직하다고 제안합니다. 그러나 이는 전 세계적인 협력과 검증 메커니즘이 필요하며, 단일 연구소의 일방적인 중단은 경쟁 우위만 바꿀 뿐 넓은 논의를 이끌어내지 못할 것이라고 지적합니다.