Dockerless: 코딩 에이전트를 위한 환경 비의존 프로그램 검증기

실제 소프트웨어 저장소는 종종 재현 가능한 실행 환경이나 충분한 테스트를 갖추지 못해 실행 기반 검증이 불가능하거나 비용이 매우 높다. Dockerless는 저장소를 직접 실행하지 않고도 저장소 내부를 탐색해 증거를 수집하고 패치의 정합성을 확률적 점수로 판정함으로써 per-repository Docker 구축 비용을 제거한다. 이로 인해 SFT와 RL의 후처리 파이프라인 전체를 단일 최소 이미지에서 운용할 수 있어 확장성 있게 롤아웃을 수집하고 학습 데이터를 선별할 수 있다.

실제 문제: 실행 기반 검증은 저장소별 Docker 이미지와 테스트 러너 구성이 필요해 대규모 적용이 어렵고 많은 저장소에서 재현 가능한 환경이나 충분한 테스트가 존재하지 않는다. 이러한 환경 의존성은 SFT 데이터 선별과 RL 보상 계산에서 확장성을 심각하게 저해하며, 단순 텍스트 기반 판단은 저장소 맥락을 반영하지 못해 기능적 동등성을 판별하지 못한다. 따라서 실행 없이도 저장소 내부의 증거를 확보해 기능적 정합성을 판단할 검증기가 필요하다. Dockerless 접근법의 핵심 원리: Dockerless는 문제 이슈와 참조 패치를 바탕으로 확인해야 할 검증 질문 집합 {Q_k}을 생성하고, 각 질문에 대해 병렬 서브에이전트를 통해 저장소를 탐색하여 증거를 수집한 뒤 (Q_k,A_k) 쌍을 근거로 최종 판정 토큰을 출력하는 구조를 취한다. 서브에이전트는 실제 파일 시스템과 검색 도구를 호출해 호출 경로, 초기화 흐름, 테스트·어설션 후보 등을 찾아 응답을 구성하며, 최종 판정은 두 이진 토큰의 로짓 ℓ_0,ℓ_1로부터 r_φ(x,y)=exp(ℓ_1)/(exp(ℓ_0)+exp(ℓ_1)) 형태로 연속 점수를 산출한다. 이렇게 하면 표면적 텍스트 유사성 대신 저장소에 근거한 합리적 증거로 패치 정합성을 평가할 수 있다. 학습과 실전 적용에서의 변화: 학습은 교사 모델이 생성한 Q&A 판정 궤적을 실행 라벨과 비교해 일치하는 궤적만 보관하는 rejection sampling으로 진행되어 검증기 출력과 실행 기반 정답 간의 일관성을 확보했다. 실험 결과 Dockerless는 검증기 벤치마크에서 기존 오픈소스 검증기보다 AUC 기준으로 14.3 포인트 높게 나타났고, 이를 롤아웃 필터와 RL 보상원으로 사용한 완전한 env-free 후처리 파이프라인이 env-based 학습과 대등한 성능을 달성했다. 이로써 저장소 실행이 불가능한 실무 환경에서도 대규모 학습 파이프라인을 운영할 수 있는 가능성이 확인되었다.

전체 흐름은 질문 생성, 병렬 탐색, 판정 세 단계로 구성된다. 먼저 이슈 x와 참조 패치 y_ref에서 K개의 검증 질문 Q_1…Q_K를 생성하고, 각 질문을 독립 서브에이전트에 할당해 저장소 탐색을 병렬로 수행한다. 서브에이전트는 읽기 전용 셸 도구를 사용해 관련 소스 위치와 코드 스니펫을 찾아 간결한 증거 기반 답변 A_k를 반환한다. 판정 단계에서는 이슈, 참조 패치, 후보 패치와 수집된 (Q_k,A_k) 쌍을 조건으로 확률적 이진 토큰을 출력하는 단일 백본 모델이 최종 결과를 산출한다. 두 이진 토큰의 로짓 ℓ_0,ℓ_1을 소프트맥스 형태로 변환해 연속 점수 r_φ(x,y)을 계산하고, 이 점수를 SFT 필터링과 RL 보상으로 사용한다. 판정 모델과 질문 생성·탐색 기능은 동일 백본에 의해 공동 학습되며, 런타임에는 K=2–4 범위를 권장해 정확도와 탐색 비용을 균형시켰다. 학습은 rejection sampling을 핵심으로 삼아 실행 라벨 r^⋆과 교사 모델 판정 ĥr가 일치하는 질문-답변-판정 궤적만 𝒟_rej로 보관했다. 보관된 시퀀스 z=(z_1,…,z_T)에 대해 next-token 교차엔트로피 손실로 학습을 수행했고, 부정/긍정 비율 과도화를 방지하기 위해 음성-양성 비율을 ρ로 제한했다. RL 단계에서는 Dockerless 보상을 이용해 각 그룹 G의 롤아웃에 대해 그룹 정규화된 어드밴티지 A_i=(r_φ(x,y_i)-0r)/0σ_r를 계산하고 GRPO 알고리즘으로 최적화했다.

검증기 성능: Dockerless는 검증기 평가 벤치마크에서 SWE-bench Verified 분할에 대해 81.0 AUC, Multi-SWE-bench Flash 분할에 대해 72.1 AUC를 기록해 모든 비교 대상보다 우수한 성능을 보였다. 가장 강한 오픈소스 검증기 대비 Verified에서 AUC가 14.3 포인트 향상되었고, 최강의 제로샷 LLM 판정자 대비에도 수치상 우위를 보였다. 이 수치는 저장소 기반 증거 수집과 rejection-sampled 학습이 판정 정확도에 실질적 이득을 준다는 근거로 해석된다. 후처리 파이프라인 성능: Qwen3.5-9B를 시작점으로 Dockerless를 필터와 보상원으로 쓴 완전 env-free 후처리 결과 Dockerless-RL-9B가 SWE-bench Verified에서 62.0%, Multilingual에서 50.0%, Pro에서 35.2%의 resolve rate를 달성했다. 이는 동일 계열의 env-based 후처리 결과와 거의 동등하거나 근접하는 성능이며, SFT 단계에서 Dockerless로 상위 25% 롤아웃을 선택한 Dockerless-SFT-9B는 Env-based 4K와 유사한 성능을 보였다. 이 결과는 env-free 롤아웃을 대규모로 수집한 뒤 강력한 검증기로 선별하면 실행 기반 데이터에 의존하지 않고도 효과적인 후처리를 수행할 수 있음을 시사한다. 민감도 및 지연 분석: 검증 질문 수 K를 0,1,2,4,6,8로 변화시킨 결과 AUC는 K=0에서 78.3에서 출발해 K=4에서 최고 81.0을 기록했고 K>4에서는 진동을 보였다. 이 결과는 2–4개의 검증 질문이 정확도와 탐색 비용의 적절한 절충점임을 나타낸다. 지연 측면에서 Dockerless의 보상 계산은 전체 롤아웃 시간에서 약 7.2%를 차지해 에이전트 롤아웃 자체가 병목이 되는 RL 워크로드에서 추가 비용이 상대적으로 작았다.

전체 아키텍처는 질문 생성 모듈, 병렬 서브에이전트 탐색, 그리고 판정 모듈을 하나의 백본으로 통합한 구조를 따른다. 질문 생성은 이슈 x와 참조 패치 y_ref로부터 K개의 검증 질문을 생성하고, 각 질문은 독립 서브에이전트로 전달되어 저장소 내 파일 검색과 코드 발췌로 답변을 만든다. 판정은 (x,y_ref,y,{(Q_k,A_k)})를 입력으로 두 이진 토큰의 로짓을 계산하고 소프트맥스 변환으로 연속 점수 r_φ(x,y)을 출력한다.

논문에서 명시한 제약으로 교사 모델과 실행 라벨이 필요한 rejection sampling 과정이 요구되므로 초기 학습 데이터 구성에는 여전히 실행 기반 레이블이 필요했다. 검증 질문 수가 증가하면 중복되거나 잡음이 많은 증거가 유입되어 성능이 악화될 수 있음을 확인했고, 따라서 K의 선택이 정확도와 탐색 비용 간의 중요한 하이퍼파라미터가 되었다. 보상 계산은 전체 롤아웃 시간 대비 상대적으로 작은 비율이지만 Dockerless의 탐색 단계는 여전히 기본적 보상자보다 더 높은 지연을 유발하며 실시간 응답성이 필요한 일부 워크로드에는 부적합할 수 있다.