UserSWE: 동적 사용자 시뮬레이션으로 멀티턴 코딩 에이전트를 평가한다와 매 턴 테스트 판정

2026-10-21 arXiv 제출 · ax-trend 이슈 #3471 · UserSWE

UserSWE 개요 — 멀티턴 코딩 에이전트 평가, 동적 사용자 시뮬레이션
UserSWE — 동적 사용자 시뮬레이션으로 멀티턴 코딩 에이전트를 평가한다

핵심 — 벤치마크는 개발자처럼 대화하지 않는다

UserSWE 판정 방식 — 매 턴 테스트 실행, 모델 페어 검증 판정
UserSWE 판정 — 매 턴 테스트를 돌리고, 모델 페어가 verdict를 작성·게이팅한다

판정은 매 턴 테스트를 돌린다

UserSWE 태스크 파이프라인 — 레포 히스토리를 멀티턴 태스크로 변환
태스크 파이프라인 — repo history와 싱글턴 벤치마크를 멀티턴 태스크로 변환한다

multi-turn 태스크 파이프라인

UserSWE 평가 결과 — 42개 레포·72개 태스크·11개 에이전트, 상호작용 예산별 순위 변동
평가 결과 — 상호작용 예산에 따라 에이전트 순위가 바뀐다

상호작용 예산에 따라 순위가 바뀐다

single-turn performance로는 interactive coding ability를 설명할 수 없다는 게 논문의 지적이다. 턴 수가 허용되는 순간 순위가 바뀌니, 벤치마크 점수 한 줄로 에이전트를 고르면 안 된다.

왜 중요한지 — 도입 평가의 기준을 바꿔라

코딩 에이전트를 실무에 도입할 때 벤치마크 단일 턴 점수만 보면 안 된다. 우리 사용 패턴이 짧은 수정 요청 위주인지, 긴 디버깅 대화 위주인지에 따라 봐야 할 순위가 달라진다. 평가할 때는 1턴·8턴·중간 budget의 순위를 함께 보고, 우리 사용 패턴에 맞는 에이전트를 골라야 한다 (이슈 배경).

아직 안 밝혀진 것

원문 이슈

AI 코딩 agentic benchmark 에이전트 모델