QA 기반 사전 지식 획득으로 저장소 수준 소프트웨어 이슈 자동 수정 성능 향상

대형 언어 모델 기반 코딩 에이전트는 코드 생성 능력이 뛰어나지만 저장소 내부의 설계 제약과 데이터 흐름 같은 내부 지식 부족으로 인해 사실적 오류를 자주 범한다. ACQUIRE는 문제 해결에 앞서 질문을 통해 필요한 저장소 지식을 구조화하여 에이전트가 근거 기반 결정을 내릴 수 있도록 해 이러한 지식 결핍을 직접적으로 보완한다. 이 접근은 테스트 기반 검증 환경에서 Pass@1을 유의미하게 향상시키면서 수리 과정의 비효율적 반복을 줄이는 것으로 나타났다.

문제 출발점과 기존 한계는 다음과 같다. 자동 수리 에이전트는 이슈 설명만으로 저장소 내부의 설계 규약, 모듈 간 데이터 흐름, 암묵적 API 계약 같은 핵심 지식을 확보하기 어렵다. 결과적으로 에이전트는 표면적 키워드 일치에 의존해 잘못된 파일을 탐색하거나 모듈 경계를 넘나드는 근본 원인을 파악하지 못해 잘못된 수정을 반복하게 된다. 해결 원리는 질문 분해와 근거 기반 답변 획득이다. ACQUIRE는 이슈 전체를 한 번에 해결하려 하지 않고 Questioner가 진단적 범위를 갖춘 타깃 질문들을 생성하면 각 Answerer가 독립적으로 저장소를 탐색해 파일 경로·함수명·라인 등 구체적 근거를 수집하도록 설계되었다. 이렇게 얻은 QA 쌍은 Resolver의 입력 문맥으로 사전 주입되어 수리 루프 시작 시점에 안정적인 저장소 이해를 제공한다. 이 접근이 달라지게 하는 점은 정보의 질과 수리 효율성이다. 좁게 정의된 질문들은 각 Answerer가 단순화된 검색·추론 과제를 수행하게 해 허위 주장 가능성을 낮추며, 결과적으로 Resolver는 위치 탐색과 수정 설계에서 시행착오를 줄이고 검증 단계에 더 많은 자원을 할당할 수 있다. 실험에서는 이로 인해 Pass@1이 모델별로 수퍼셋 성능 향상을 보였고 단계 수와 비용 측면에서도 합리적인 트레이드오프를 확보했다.

전체 접근 방식과 핵심 아이디어는 두 단계로 분리된 파이프라인이다. 첫 단계에서 Questioner는 이슈 설명을 입력받아 N개의 타깃 질문을 생성하고, 두 번째 단계에서 각각의 Answerer 인스턴스가 독립적으로 저장소를 탐색해 근거 기반 답변을 생성한다. 최종적으로 Resolver는 이 QA 세트를 수리 문맥으로 받아 코드 탐색·편집·테스트 루프를 수행해 패치를 생성한다. 질문 생성 메커니즘은 카테고리 유도 템플릿을 사용한다. 템플릿은 Mechanism & Behavior, Design & Usage, Locating & Structure, Ecosystem & Standards 네 가지 진단 축을 제시해 질문들이 진단적 다양성과 중복 회피를 갖도록 제약을 건다. Questioner는 템플릿에 따라 각 질문의 범주를 자율 선택하며 이로 인해 질문 집합의 커버리지가 향상되는 효과가 관찰되었다. 증거 기반 답변 절차는 Answerer의 읽기 전용 탐색과 답변 제출 규칙으로 구성된다. 각 Answerer는 쓰기 권한 없이 저장소를 조회하며 답변에는 파일 경로·함수명·라인과 같은 구체적 근거를 포함해야 하고, 충분한 근거를 찾지 못할 경우 명시적으로 근거 부족을 인정해야 한다. 병렬 실행은 각 인스턴스가 다른 질문에 독립적으로 집중하도록 해 지연 시간을 단일 최장 실행 인스턴스 수준으로 제한한다. 수리 단계의 지식 주입 방식은 정적 선주입이다. QA 세트는 Resolver의 초기 메시지 앞에 구조화된 텍스트 블록으로 삽입되며 동적 스트리밍이 아닌 사전 주입을 선택한 이유는 모듈성 유지와 초기 단계의 불완전한 정보로 인한 잘못된 의사결정 방지이다. Resolver는 주입된 QA를 보조 정보로 사용하며 자체 탐색과 검증을 통해 변경을 검증할 수 있다.

주요 벤치마크 결과는 SWE-bench Verified 500개 사례에서 얻어졌다. DeepSeek-V3.2 백본 기준 ACQUIRE는 Pass@1을 66.4%에서 70.8%로 4.4pp 향상시켰고 평균 비용은 $0.055에서$0.073로 증가했으며 평균 처리 시간은 815초에서 1042초로 측정되었다. GPT-5-mini 백본에서도 Pass@1이 58.4%에서 62.2%로 3.8pp 개선되어 두 백본에서 일관된 향상이 관찰되었다. QA의 사실성 평가는 인간 감사자로 검증되었고 232개 QA 쌍 중 230개(99.1%)가 근거 지원으로 판정되었다. 구체적으로 98개(42.2%)는 완전한 정확성으로, 132개(56.9%)는 핵심 주장은 맞지만 상세 정보에서 미세한 편차가 있었고 2개(0.9%)만 근거 없는 주장을 포함했다. 또한 ACQUIRE는 Mini-SWE-Agent 대비 Fail → Pass recoveries 44건과 Pass → Fail regressions 22건을 만들어 전체 순증가 22건을 기록했다. 트레이저 분석에서는 QA 주입이 위치 탐색(Locating)과 수정(Fixing) 단계의 단계 수를 각각 약 23.8%와 24.1% 줄였고 전체 단계 수는 3,917에서 3,246로 감소했다. QA 사용 단계 비율은 전체의 40.4%였고 위치 탐색과 수정 단계에서 특히 집중적으로 사용되었다. QA 쌍 수 민감도 실험에서 N=1일 때 Pass@1이 69.0%로 상승했으며 N=2에서 70.8%로 최고치를 보이고 N=3에서는 69.0%로 되돌아가 비용 대비 이득이 감소하는 양상이 나타났다.

전체 아키텍처는 세 전문 에이전트(Questioner, Answerer, Resolver)로 구성된 두 단계 파이프라인이다. Questioner는 카테고리 유도 템플릿을 사용해 N개의 질문을 생성하고 각 Answerer는 독립 실험 환경에서 읽기 전용 탐색으로 답변을 구성한다. 생성된 QA 집합은 구조화된 텍스트 블록으로 Resolver 입력 앞에 선주입되어 수리 루프가 시작될 때 고정된 저장소 이해를 제공한다. Answerer의 운영 세부사항은 실행 예산과 시간 제약을 포함한다. 기본 설정에서 N=2, Answerer per-step timeout은 120초, 최대 궤적 길이는 150스텝, 인스턴스당 비용 상한은 $2.00, 온도는 0.0으로 설정되어 있다. Resolver는 Mini-SWE-Agent와 동일한 격리된 도커 환경에서 동작하며 per-step timeout 360초, 최대 궤적 길이 250스텝, 인스턴스당 비용 상한$3.00을 따르는 등 일관된 수리 환경을 유지한다. 질문 품질 및 집합 수준 평가는 LLM-as-a-judge 프로토콜로 보강되었고 질문별 평가는 관련성·답변 가능성·진단 유틸리티·추론 깊이·명확성으로 구성되었다. ACQUIRE와 템플릿 제거 변형(ACQUIRE-FreeQ) 간 비교에서 커버리지와 진단 유틸리티에서 유의한 차이가 관찰되었고 이는 템플릿이 질문 간 중복을 줄이고 보완적 시야를 확보하는 역할을 함을 시사한다.

현재 템플릿은 네 가지 카테고리로 설계되어 있으며 특정 이슈 유형이나 언어별 특성까지 포괄하지 못할 가능성이 있다. 동적 지식 획득을 수리 루프와 결합하면 지식 신선도를 높일 수 있으나 추가 비용이 발생하고 탐색-수정 상호작용에서 복잡도가 증가할 우려가 있다. 본 연구는 주로 Python 저장소와 SWE-bench 환경에서 평가되었기 때문에 다른 언어·환경으로 확장할 때 추가 검증이 필요하다.