SWE-Together: 실제 다중 턴 코딩 세션을 재생 가능한 109개 레포지토리 과제로 변환하고 사용자 시뮬레이터 기반 상호작용 지표로 평가한 연구

대부분의 기존 코딩 에이전트 벤치마크는 단일 턴·정적 평가에 의존하여 실제 사용자와의 상호작용에서 발생하는 요구 변화와 수정 비용을 반영하지 못했다. SWE-Together는 실제 사용자–에이전트 대화 기록에서 복원한 109개 레포지토리 수준 과제를 통해 상호작용 비용과 최종 정확도를 동시에 측정함으로써 에이전트의 실전 유용성을 더 직접적으로 계량할 수 있게 했다. 이 접근은 에이전트 능력뿐만 아니라 사용자 개입량(User Correction)과 시뮬레이터 충실도(Intent Coverage)를 분리하여 해석 가능하게 만들었다.

현실의 코딩 지원은 사용자가 요구를 점진적으로 드러내고 제약을 추가하며 잘못된 출력에 대해 교정하는 다중 턴 상호작용이다. 기존의 단일 턴·정적 평가 방식은 초기 명세가 완전하다는 가정 하에 에이전트를 판단하므로 실제 사용자가 제공하는 점증적 정보와 개입 비용을 반영하지 못했다. 결과적으로 동일한 최종 점수를 얻더라도 사용자 부담은 크게 달라질 수 있다. SWE-Together의 출발점은 이 격차를 줄이기 위해 실제 세션에서 복원 가능한 상호작용을 재현 가능한 태스크로 전환하고, 에이전트 출력 경로에 따라 시뮬레이터가 조건부로 개입하도록 설계하는 것이다. SWE-Together는 재현 가능한 태스크 패키지, 상태 조건적 사용자 시뮬레이터, 그리고 두 축(최종 저장소 정확도와 상호작용 비용)의 평가 프로토콜을 결합하여 문제를 해결한다. 구체적으로, 각 태스크는 샌드박스에서 고정 커밋을 클론하고 실행 가능한 검증기를 포함하며, 시뮬레이터는 원본 세션에서 유도한 트리거 조건을 앵커로 삼아 에이전트의 경로에 맞춰 피드백을 방출한다. 이 방식은 시뮬레이터 변동으로 인한 평가 편향을 줄이고 에이전트 성능 차이를 상호작용 관점에서 해석 가능하게 만든다. 이 접근은 두 가지 실용적 가치를 제공한다. 하나는 최종 저장소 상태의 행동적 완전성을 중심으로 한 판정 루브릭으로 서로 다른 구현 방식의 기능적 동등성을 비교할 수 있게 한 점이다. 다른 하나는 User Correction과 Intent Coverage 같은 상호작용 진단을 통해 에이전트가 동일한 점수를 얻더라도 사용자 개입량 또는 시뮬레이터 충실도에서 어떻게 다른지를 분리해 보여준다는 점이다. 이러한 분리는 연구자가 단순 성능 지표뿐만 아니라 사용자 경험 측면에서 모델을 평가하도록 유도한다.

세 단계의 세션→태스크 변환 파이프라인을 사용했다. 첫 단계는 규칙 기반 수집기로 다중 턴 상호작용, 코드 변경, 저장소 신호 등의 결정론적 필터를 적용해 후보 세션을 선별한다. 두 번째 단계는 LLM 기반 가용성 심사로 후보의 핵심 산출물이 로컬 환경에서 재구성 가능한지 판별하며, 외부 상태 의존성(배포·비밀키 등)이 있으면 탈락시킨다. 세 번째 단계는 호스트 샌드박스에서 타깃 리포지토리를 고정 커밋으로 체크아웃하고 로컬 설치·테스트 명령을 식별한 뒤 태스크 아티팩트(초기 사용자 명령, 검증기, 시뮬레이터 프롬프트)를 생성해 실행 가능한 패키지를 완성한다. 사용자 시뮬레이터는 각 체크포인트에서 고정 세션 앵커, 최근 에이전트 활동 요약, 시뮬레이터 메모리를 결합해 단일 구조화 행동을 결정한다. 행동 공간은 no-op, question, redirect, new-requirement, check-external으로 제한되어 있으며 무작동이 기본값이다. 이 설계는 시뮬레이터가 원본 의도와 개입 순서를 보존하되 에이전트의 실제 경로에 따라 메시지 타이밍을 조정하게 한다. 평가는 최종 저장소 상태의 행동적 완전성을 판정하는 agentic rubric과 상호작용 진단( Intent Coverage, User Correction)을 병행했다. 루브릭은 Phase 1에서 태스크별 목표와 가중치를 고정한 뒤 Phase 2에서 각 제출물의 목표 충족 여부를 이진으로 판정해 가중합으로 점수를 계산한다(score = round(sum_g w_g I[g met],2)). Intent Coverage는 원본 의도 대비 재현율과 범위 정밀도를 0.7/0.3 가중으로 결합해 계산하고 User Correction은 correction과 nudge를 각각 1과 0.2 가중으로 계수한다(UserCorrection = N_correction + 0.2 * N_nudge).

opencode 하니스와 k=2 복제 설정에서 7개 모델을 평가했고 주요 성능 지표로 pass@1, stable solve rate(SSR), pass^2, MeanJudge, User Correction, 토큰/시간 비용을 보고했다. Claude Opus 4.8이 MeanJudge 0.801, pass@1 63%, SSR 59%로 최상위를 기록했고 평균 User Correction은 1.38으로 가장 낮았다. GPT-5.5는 MeanJudge 0.763으로 2위에 해당하면서 토큰 효율성 측면에서는 평균 출력+추론 토큰 29.9k와 평균 시간 10.7분으로 가장 효율적인 코호트로 나타났다. 모델 성능과 User Correction 간 상관관계가 강하게 음의 상관을 보였다(Pearson −0.92 등), 즉 더 높은 성능 모델이 적은 교정 개입을 요구했다. Intent Coverage는 대체로 0.70~0.72 범위로 안정되어 시뮬레이터가 대체로 원본 의도를 일관되게 재현했음을 시사했다. 레퍼런스 기준은 93개 태스크에서 평균 점수 0.90, pass 약 78%를 보였으며 레퍼런스가 100% 미만인 이유로는 프로세스 요구사항, 추출 노이즈, 일부 불완전한 인간 솔루션의 존재가 확인되었다.

전체 아키텍처는 세 부분으로 구성된다: 세션 수집 및 필터, 태스크 생성 오케스트레이터, 평가 하니스와 시뮬레이터. 세션 수집기는 규칙 기반 필터로 다중 턴, 코드 변경, 저장소 신호를 요구하며 후보를 정제한다. 태스크 생성기는 샌드박스에서 타깃 리포지토리를 고정 커밋으로 체크아웃하고 로컬 설치·테스트 명령을 식별한 뒤 deterministic verifier와 태스크별 시뮬레이터 프롬프트를 생성한다. 이 과정은 호스트 상태 의존성을 제거하기 위해 격리된 샌드박스에서 실행된다. 시뮬레이터의 의사결정은 체크포인트마다 최근 에이전트 활동 요약(에이전트 액션, 출력 텍스트, 타이밍), 고정 세션 앵커(원본 의도·트리거 조건), 그리고 시뮬레이터 메모리를 입력으로 받는다. 입력을 통해 트리거 조건이 만족되면 시뮬레이터는 질문·리디렉트·새 요구·외부 검사 중 하나를 선택하거나 기본값인 no-op을 반환한다. 시뮬레이터 메시지에는 다중 라벨 태깅을 적용해 각 메시지의 communicative act를 분해하고 correction과 nudge에 다른 가중을 부여한다. 루브릭 기반 채점은 두 단계로 동작한다. Phase 1은 원본 세션 증거와 참조 패치를 검토해 목표 집합과 정규화된 가중치(w_g)를 고정한다. Phase 2는 각 제출물에 대해 목표별 충족 여부 I[g met]을 보고하고 최종 점수를 score = round(sum_g w_g I[g met], 2)로 계산한다. 이 분리는 채점 기준이 평가 대상 해법에 맞춰 변형되는 것을 방지해 교차 모델 비교 가능성을 유지한다. 실험 설정은 N=109 태스크, k=2 복제, 성공 임계값 τ=0.85를 사용했다. 보고된 지표에는 pass@1, SSR(평균 judge 점수에 임계값 적용), pass^2(모든 복제가 임계값 초과), MeanJudge(연속 점수 평균), User Correction 및 Intent Coverage가 포함된다. User Correction은 메시지별 라벨링으로 N_correction + 0.2 * N_nudge를 계산해 태스크별·모델별 평균을 취해 집계했다.

시뮬레이터는 에이전트 턴을 중단할 수 없고 직접 파일을 편집할 수 없으며 텍스트 기반 입력과 도구 출력에만 의존한다. 따라서 시각적 인터페이스, 라이브 서비스 상태 의존 작업, 또는 매우 개방형이고 모호한 사용자 목표를 포괄적으로 커버하지 못한다. 또한 태스크 선정 과정에서 고정된 기준을 사용해 전체 원본 세션 중 0.97%만 최종 109개로 남기는 고정밀 필터링을 적용했기 때문에 데이터셋은 보수적으로 구성된 고품질 사례에 치우쳐 있다.