SWE-Interact: 사용자 주도 다중 턴 소프트웨어 엔지니어링 평가환경

현실적인 소프트웨어 개발 과정에서는 요구사항이 초기부터 완전하지 않고 사용자가 상호작용을 통해 요구를 점진적으로 명확히하는 경우가 많다. 기존 SWE 벤치마크는 완전한 요구사항을 사전에 제공해 단일 턴 성능을 측정하는 반면, 다중 턴 대화에서는 목표 발견과 반복 개선 능력이 핵심 역량이 된다. SWE-Interact는 이러한 사용자 주도 환경에서 모델이 요구사항을 찾아 통합하고 이전 작업을 재활용하는 능력을 가시화하는 별개의 성능 축을 제공한다.

왜 중요한가

핵심 기여

사용자 시뮬레이터 기반의 SWE-Interact 테스트베드 설계

SWE-Interact는 초기에 모호하거나 불완전한 지시를 제시하는 사용자 시뮬레이터를 도입해 에이전트가 점진적으로 드러나는 요구사항을 처리하도록 구성되어 있다. 시뮬레이터는 에이전트의 작업공간을 검사하고 목표 달성까지 타깃화된 피드백, 수정사항, 새로운 제약을 순차적으로 제시해 최종 목표가 인도될 때까지 상호작용을 지속한다. 이 설계는 단일 턴 자동 구현 성과와는 다른, 사용자 주도 다중 턴 맥락에서의 목표 발견·적응·반복 개선 능력을 직접적으로 측정한다.

대규모 실제 상호작용 연구에 근거한 평가 설정

테스트베드의 시뮬레이터 설계는 실제 코딩 에이전트 상호작용의 대규모 연구 결과를 근거로 했다. 실제 상호작용에서 관찰된 모호한 초기 지시와 점진적 요구 제시 패턴을 반영해 시나리오와 피드백 정책을 구성했다. 이로 인해 평가가 현실적 개발 워크플로를 보다 충실히 반영하게 되었다.

프런티어 및 오픈 가중치 모델에 대한 광범위한 평가와 핵심 발견

프런티어 모델과 오픈 웨이트 모델을 포함한 평가에서 단일 턴 SWE 과제에서의 강한 성능이 사용자 주도 다중 턴 과제로 곧바로 이전되지 않음이 관찰되었다. 평가 결과 상위 성능 모델들이 단일 턴 베이스라인 과제에서 대략 50%를 해결했지만 대응하는 SWE-Interact 과제에서는 약 25%만 해결했다는 정량적 차이가 보고되었다. 이 결과는 다중 턴 상호작용 능력이 기존 단일 턴 성능과는 별개의 능력 축임을 시사한다.

행동 기반 실패 모드의 규명

평가에서 높은 성능을 보인 모델들은 모호한 초기 지시에도 비교적 잘 시작하고 사용자 피드백이 누적될 때까지 지속적으로 작업을 수행해 요구사항을 통합하려는 경향을 보였다. 그러나 이러한 모델들도 과도한 에이전트 주도 코딩, 요구사항 망각, 기술적 실수 같은 실패 모드를 보였고 이는 반복적 수정 과정에서 성능을 저해했다. 성능이 낮은 모델들은 초기 모호성에서 실패 확률이 높고 조기에 포기하거나 지시를 무시해 코드 재작업이 빈번하게 발생했다.

핵심 아이디어 이해하기

기존 소프트웨어 엔지니어링(SWE) 벤치마크는 작업의 모든 요구사항을 사전에 완전하게 제공하고 에이전트가 그 요구사항을 바탕으로 단일 실행으로 구현하도록 설계되어 있다. 이 방식은 모델이 주어진 요구를 자동으로 구현하는 능력은 측정하지만 사용자와의 반복적 상호작용을 통한 목표 발견과 요구 통합 능력은 포착하지 못한다. 결과적으로 현실 개발 환경에서 요구되는 상호작용적 적응 능력은 단일 턴 성능과 다른 별개의 역량이 된다.

방법론

SWE-Interact는 개발자 워크플로를 모사하는 사용자 시뮬레이터를 중심으로 에피소드를 구성한다. 각 에피소드는 초기의 모호하거나 불완전한 명세로 시작해 시뮬레이터가 에이전트의 작업공간을 검사하고 필요에 따라 수정 요청, 새로운 제약, 또는 설명을 점진적으로 제공하는 방식으로 진행된다. 이러한 반복적 프로토콜은 에이전트가 이전 작업을 재활용하고 새로운 요구사항을 통합하는지 여부를 평가하도록 설계되었다.

주요 결과

프런티어 및 오픈 웨이트 모델 전반에 걸친 평가에서 단일 턴 베이스라인과 SWE-Interact 과제 간에 유의미한 성능 격차가 관찰되었다. 보고된 수치에 따르면 상위 모델이 단일 턴 베이스라인 과제에서는 대략 50%의 성공률을 기록한 반면 동일한 과제의 SWE-Interact 버전에서는 성공률이 약 25%로 절반 수준으로 하락했다. 이 결과는 단일 턴 성능이 높더라도 다중 턴 사용자 주도 작업에서의 성공을 보장하지 못함을 의미한다.

한계점

논문은 평가 결과에서 모델들이 과도한 에이전트 주도 코딩을 수행하거나 요구사항을 잊는 등의 행동적 실패 모드를 보였음을 명시했다. 또한 일부 모델들은 모호한 초기 지시에서 조기에 포기하거나 지시를 무시해 빈번한 코드 재작업을 초래했다는 점이 보고되었다. 이 한계들은 SWE-Interact 설정에서 관찰된 구체적 실패 양상으로서 향후 모델 설계와 학습 목표에 반영될 필요가 있다.

실무 활용

SWE-Interact는 대화형 요구사항을 포함하는 실제와 유사한 SWE 워크플로에서 코딩 에이전트의 상호작용 능력을 평가하는 벤치마크로 활용 가능하다. 공개된 GitHub 저장소가 존재해 평가 설정과 시뮬레이터 구성 요소를 재현하거나 확장하는 데 실용적 기반을 제공한다. 연구자와 개발자는 이 도구를 통해 대화형 목표 발견과 반복 개선 능력을 중심으로 모델을 선별하거나 개선할 수 있다.

코딩 에이전트 후보 모델을 사용자 피드백과 점진적 요구 변경을 견디는 능력으로 평가하는 벤치마크로 사용될 수 있다.
인간-에이전트 혼합 워크플로에서 요구사항 통합 전략이나 피드백 정책의 효과를 비교하는 연구에 적용될 수 있다.
모델 개발 시 단일 턴 성능과 달리 다중 턴 상호작용에서의 실패 모드를 발견하고 이를 개선하기 위한 진단 도구로 활용될 수 있다

코드 공개 여부: 공개

코드 저장소 보기

키워드

coding agents(코딩 에이전트)user simulator(사용자 시뮬레이터)interactive software engineering(인터랙티브 소프트웨어 엔지니어링)multi-turn tasks(다중 턴 과제)user-driven workflows(사용자 주도 워크플로)goal discovery(목표 발견)

용어 해설

사용자 시뮬레이터(User Simulator): — 사용자 시뮬레이터는 초기에 모호하거나 불완전한 지시를 제공하고 에이전트의 작업공간을 점검한 뒤 목표 달성을 위해 점진적으로 요구사항을 추가하거나 수정하는 절차를 모사하는 도구로서, 대화형 평가에서 에이전트의 목표 발견과 반복 개선 능력을 시험하는 데 핵심적이다.
다중 턴 워크플로(Multi-turn Workflow): — 다중 턴 워크플로는 단일 상호작용이 아니라 사용자의 반복적인 피드백과 요구사항 변경을 통해 작업이 점진적으로 완성되는 개발 과정으로서, 에이전트의 장기 맥락 유지와 이전 작업을 재활용하는 능력을 측정하는 평가 설정을 요구한다.
인터랙티브 목표 발견(Interactive Goal Discovery): — 인터랙티브 목표 발견은 초기 모호한 사용자 지시로부터 에이전트가 대화와 작업 검사 결과를 결합해 사용자의 최종 의도를 식별하고 이를 점진적으로 명확히 하는 과정으로서, 사용자 주도 환경에서 요구사항 회복과 통합 능력을 핵심 성능 지표로 삼는다.
과도한 에이전트 주도 코딩(Over-agentic Coding): — 과도한 에이전트 주도 코딩은 에이전트가 사용자의 모호한 요구를 스스로 확장하거나 임의로 설계 결정을 내리면서 원래 요구사항과 괴리된 구현을 진행하는 현상으로서, 대화형 피드백을 받을 때 요구사항을 놓치거나 변경을 무시하게 만드는 실패 모드다.

SWE-Interact: 사용자 주도 다중 턴 소프트웨어 엔지니어링 평가환경

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

한계점

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 기사

과학 소프트웨어 수정을 평가하는 SWE-bench Science

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

한계점

실무 활용

키워드

관련 토론

댓글

관련 기사

과학 소프트웨어 수정을 평가하는 SWE-bench Science