이 논문은 Cognition에서 개발한 멀티 모델 하네스인 Devin Fusion을 소개하며, 엔지니어링 에이전트 작업 시 비용 효율성을 극대화하면서도 최상위 수준(frontier-level)의 지능을 유지하기 위한 전략을 다룹니다.

핵심 문제 의식

현재의 엔지니어링 팀은 모든 작업에 가장 비싼 모델을 사용하여 비용 효율성이 저하되는 문제를 겪고 있습니다. 기존의 단순한 모델 라우팅 도구들은 벤치마크 점수에는 최적화되어 있으나, 실제 실무에서 병합 가능한 수준의 코드 작성에는 한계가 있었습니다.

핵심 기술 방법론

Devin Fusion은 크게 두 가지 핵심 기법을 통해 이러한 한계를 극복합니다.

#### 1. 사이드킥(Sidekick) 접근 방식
이 방식은 두 개의 병렬 에이전트를 운영합니다:

• 메인 에이전트(Main Agent): Frontier model을 사용하여 계획 수립, 모호성 해석, 최종 검토 등 고도의 판단이 필요한 결정을 내립니다.
• 사이드킥 모델(Sidekick Model): 비용 효율적인 모델로, 메인 에이전트로부터 위임받은 기계적이고 반복적인 작업을 수행합니다.

이 방식의 차별점은 양쪽 모두 독립적인 도구 세트와 영구적으로 캐싱된 컨텍스트를 유지한다는 점입니다. 기존의 'Smart Friend'나 'Advisor' 도구들은 호출 시마다 컨텍스트를 다시 처리해야 하므로 비용이 크지만, Sidekick 구조는 각자의 컨텍스트를 캐싱하여 비용 문제를 해결합니다.

#### 2. 동적 미드 세션 라우팅(Dynamic Mid-Session Routing)
작업 도중 작업의 난이도가 변하거나 다른 모델이 더 적합하다고 판단될 경우 실시간으로 모델을 전환합니다.

• 캐시 효율적 전환: 모델 전환 시 발생하는 비용을 최소화하기 위해 '컨텍스트 컴팩션(context compaction)' 단계에서 라우팅을 수행합니다. 컴팩션 과정에서 발생하는 캐시 미스를 활용하여 추가적인 비용 부담 없이 모델을 교체하거나 업그레이드합니다.
• 경량 분류기(Lightweight Classifiers): 실행 중인 작업의 성격과 복잡도를 실시간으로 평가하여, 메인 에이전트로 작업을 회수하거나 다른 모델로 전환해야 할지 결정하는 신호를 보냅니다.

성과 및 결론

• 비용 및 성능: FrontierCode 벤치마크 테스트 결과, Devin Fusion은 기존 모델 대비 최대 60%의 비용 절감 효과를 보이면서도 frontier 수준의 성능을 유지했습니다.
• 실무 적용: 단순한 기계적 작업(예: 리팩토링, 라이브러리 교체)에서는 성능 저하 없이 큰 폭의 비용 절감을 달성했으나, 높은 수준의 판단이 요구되는 복잡한 기능 구현에서는 위임 시 품질 저하가 발생할 수 있음을 확인했습니다.
• 향후 전망: 향후 모델이 고도화될수록 Fable 5와 같은 모델들이 Multi-agent setup에서 더욱 효율적으로 작동할 것으로 보이며, 단일 모델 기반의 개발 방식은 점차 하이브리드 모델 하네스로 전환될 것입니다. 이는 특정 언어나 라이브러리에 특화된 모델을 전략적으로 결합하는 것이 엔지니어링 효율성의 핵심이 될 것임을 시사합니다.