본 논문 SWE-Together: Interactive Coding-Agent Evaluation은 소프트웨어 엔지니어링 작업에서 AI 코딩 에이전트의 성능을 평가하기 위한 새로운 벤치마크 프레임워크를 제안합니다. 기존의 정적인 평가 방식을 넘어, 실제 개발 환경에서의 상호작용과 협업 역량을 정밀하게 측정하는 데 초점을 맞추고 있습니다.

핵심 방법론 및 기술적 상세

1. 평가 체계 (Benchmark Design):

본 연구는 총 109개의 실제 소프트웨어 엔지니어링 태스크를 기반으로 구성되었으며, OpenCode Harness를 활용하여 에이전트가 환경과 상호작용하는 과정을 평가합니다. 특히 $k=2$ 설정 하에 에이전트의 재현성과 해결 능력을 검증합니다.

2. 지표 설계 (Metrics):
   • pass@1: 단일 시도 내에서의 해결 성공률을 의미하며, 모델의 기본적인 문제 해결 능력을 나타냅니다.
   • pass²: 두 번의 실행 모두에서 Judge 점수 0.85 이상을 기록한 성공률로, 에이전트의 일관된 성능(Consistency)을 측정합니다.
   • Correction 및 Tokens: 에이전트가 문제를 해결하기 위해 수행한 수정 횟수(correction)와 소모한 토큰량(tokens), 그리고 소요 시간(min)을 평가하여 효율성을 정량화합니다.
   • Judge Score: AI 기반의 심사위원이 생성된 코드와 결과물의 품질을 0에서 1 사이의 값으로 평가하며, 이는 Oracle 참조 값(약 78%)과 비교됩니다.

3. 성능 분석:
   • claude-opus-4.8은 pass@1 52%, pass² 63%, Judge 0.801을 기록하며 가장 우수한 성능을 보였습니다.
   • 반면, minimax-2.7과 같은 모델들은 상대적으로 낮은 pass@1(24%)을 보이며 에이전트의 안정성 측면에서 개선의 여지를 보여주었습니다.
   • Unstable Factor: 각 모델의 pass@1과 pass² 사이의 차이인 '해칭된 꼬리(hatched tail)' 부분은 모델의 판단이 얼마나 불안정(unstable)한지를 나타내는 지표로 활용됩니다.

결론 및 기여

본 연구는 고성능 LLM 간의 실질적인 코딩 역량 차이를 명확히 구분할 수 있는 표준을 제시합니다. 특히 단순히 코드를 생성하는 것을 넘어, 오류 수정과 반복적인 피드백 루프에서의 효율성을 중점적으로 다룸으로써 향후 자율적 코딩 에이전트 연구의 중요한 벤치마크가 될 것으로 기대됩니다.

Oracle 모델을 참조점(ceiling)으로 설정하여, 현존하는 모델들이 이상적인 해결책에 얼마나 근접했는지에 대한 정량적 비교 가이드를 제공하고 있습니다.