Dockerless: 코딩 에이전트를 위한 환경 비의존 프로그램 검증기

왜 중요한가

실제 소프트웨어 저장소는 종종 재현 가능한 실행 환경이나 충분한 테스트를 갖추지 못해 실행 기반 검증이 불가능하거나 비용이 매우 높다. Dockerless는 저장소를 직접 실행하지 않고도 저장소 내부를 탐색해 증거를 수집하고 패치의 정합성을 확률적 점수로 판정함으로써 per-repository Docker 구축 비용을 제거한다. 이로 인해 SFT와 RL의 후처리 파이프라인 전체를 단일 최소 이미지에서 운용할 수 있어 확장성 있게 롤아웃을 수집하고 학습 데이터를 선별할 수 있다.

핵심 기여

에이전틱 저장소 탐색을 통한 환경 비의존 검증기 설계

Dockerless는 이슈, 참조 패치, 후보 패치에서 다수의 검증 질문을 생성하고 각 질문마다 병렬 서브에이전트를 파견해 저장소 증거를 수집한 뒤 증거 기반 답변을 종합해 판정을 내린다. 이 흐름은 단순 텍스트 유사도나 정적 채점보다 저장소 맥락을 반영한 정밀한 판단을 산출한다. 병렬 서브에이전트는 읽기 전용 셸 도구(find, grep, rg 등)를 호출해 실물 파일과 코드 구조에서 근거를 수집한다.

거부 표본추출로 질문-답변-판정 궤적을 정제한 학습

교사 모델이 생성한 질문-답변-판정 궤적 가운데 최종 판정이 실행 기반 라벨과 일치하는 경우만 취사선택하여 학습 데이터로 보관하는 rejection sampling 절차를 적용했다. 이렇게 보관된 𝒟_rej로 next-token 교차엔트로피 학습을 수행하여 하나의 백본이 질문 생성, 서브에이전트 탐색, 최종 판정 단계를 공동 학습하도록 했다. 부정/긍정 비율은 과도한 불균형을 방지하기 위해 상한 ρ로 제한했다.

완전한 환경 비의존 후처리 파이프라인으로 SFT와 RL 동시 지원

Dockerless를 롤아웃 필터링(RFT)과 RL 보상원으로 모두 사용해 per-repository Docker 없이 SFT 데이터 선별과 RL 보상 계산을 수행했다. Env-free RFT에서 상위 25% 롤아웃을 선택해 SFT를 수행한 결과 Env-based SFT와 유사하거나 더 나은 성능을 확보했고, Env-free RL에서도 Test-Execution RL과 거의 동등한 성능을 냈다. 이 결과로 Dockerless는 실행 기반 검증에 의존하지 않는 확장 가능한 학습 파이프라인을 입증했다.

핵심 아이디어 이해하기

실제 문제: 실행 기반 검증은 저장소별 Docker 이미지와 테스트 러너 구성이 필요해 대규모 적용이 어렵고 많은 저장소에서 재현 가능한 환경이나 충분한 테스트가 존재하지 않는다. 이러한 환경 의존성은 SFT 데이터 선별과 RL 보상 계산에서 확장성을 심각하게 저해하며, 단순 텍스트 기반 판단은 저장소 맥락을 반영하지 못해 기능적 동등성을 판별하지 못한다. 따라서 실행 없이도 저장소 내부의 증거를 확보해 기능적 정합성을 판단할 검증기가 필요하다. Dockerless 접근법의 핵심 원리: Dockerless는 문제 이슈와 참조 패치를 바탕으로 확인해야 할 검증 질문 집합 {Q_k}을 생성하고, 각 질문에 대해 병렬 서브에이전트를 통해 저장소를 탐색하여 증거를 수집한 뒤 (Q_k,A_k) 쌍을 근거로 최종 판정 토큰을 출력하는 구조를 취한다. 서브에이전트는 실제 파일 시스템과 검색 도구를 호출해 호출 경로, 초기화 흐름, 테스트·어설션 후보 등을 찾아 응답을 구성하며, 최종 판정은 두 이진 토큰의 로짓 ℓ_0,ℓ_1로부터 r_φ(x,y)=exp(ℓ_1)/(exp(ℓ_0)+exp(ℓ_1)) 형태로 연속 점수를 산출한다. 이렇게 하면 표면적 텍스트 유사성 대신 저장소에 근거한 합리적 증거로 패치 정합성을 평가할 수 있다. 학습과 실전 적용에서의 변화: 학습은 교사 모델이 생성한 Q&A 판정 궤적을 실행 라벨과 비교해 일치하는 궤적만 보관하는 rejection sampling으로 진행되어 검증기 출력과 실행 기반 정답 간의 일관성을 확보했다. 실험 결과 Dockerless는 검증기 벤치마크에서 기존 오픈소스 검증기보다 AUC 기준으로 14.3 포인트 높게 나타났고, 이를 롤아웃 필터와 RL 보상원으로 사용한 완전한 env-free 후처리 파이프라인이 env-based 학습과 대등한 성능을 달성했다. 이로써 저장소 실행이 불가능한 실무 환경에서도 대규모 학습 파이프라인을 운영할 수 있는 가능성이 확인되었다.

방법론

전체 흐름은 질문 생성, 병렬 탐색, 판정 세 단계로 구성된다. 먼저 이슈 x와 참조 패치 y_ref에서 K개의 검증 질문 Q_1…Q_K를 생성하고, 각 질문을 독립 서브에이전트에 할당해 저장소 탐색을 병렬로 수행한다. 서브에이전트는 읽기 전용 셸 도구를 사용해 관련 소스 위치와 코드 스니펫을 찾아 간결한 증거 기반 답변 A_k를 반환한다. 판정 단계에서는 이슈, 참조 패치, 후보 패치와 수집된 (Q_k,A_k) 쌍을 조건으로 확률적 이진 토큰을 출력하는 단일 백본 모델이 최종 결과를 산출한다. 두 이진 토큰의 로짓 ℓ_0,ℓ_1을 소프트맥스 형태로 변환해 연속 점수 r_φ(x,y)을 계산하고, 이 점수를 SFT 필터링과 RL 보상으로 사용한다. 판정 모델과 질문 생성·탐색 기능은 동일 백본에 의해 공동 학습되며, 런타임에는 K=2–4 범위를 권장해 정확도와 탐색 비용을 균형시켰다. 학습은 rejection sampling을 핵심으로 삼아 실행 라벨 r^⋆과 교사 모델 판정 ĥr가 일치하는 질문-답변-판정 궤적만 𝒟_rej로 보관했다. 보관된 시퀀스 z=(z_1,…,z_T)에 대해 next-token 교차엔트로피 손실로 학습을 수행했고, 부정/긍정 비율 과도화를 방지하기 위해 음성-양성 비율을 ρ로 제한했다. RL 단계에서는 Dockerless 보상을 이용해 각 그룹 G의 롤아웃에 대해 그룹 정규화된 어드밴티지 A_i=(r_φ(x,y_i)-0r)/0σ_r를 계산하고 GRPO 알고리즘으로 최적화했다.

주요 결과

검증기 성능: Dockerless는 검증기 평가 벤치마크에서 SWE-bench Verified 분할에 대해 81.0 AUC, Multi-SWE-bench Flash 분할에 대해 72.1 AUC를 기록해 모든 비교 대상보다 우수한 성능을 보였다. 가장 강한 오픈소스 검증기 대비 Verified에서 AUC가 14.3 포인트 향상되었고, 최강의 제로샷 LLM 판정자 대비에도 수치상 우위를 보였다. 이 수치는 저장소 기반 증거 수집과 rejection-sampled 학습이 판정 정확도에 실질적 이득을 준다는 근거로 해석된다. 후처리 파이프라인 성능: Qwen3.5-9B를 시작점으로 Dockerless를 필터와 보상원으로 쓴 완전 env-free 후처리 결과 Dockerless-RL-9B가 SWE-bench Verified에서 62.0%, Multilingual에서 50.0%, Pro에서 35.2%의 resolve rate를 달성했다. 이는 동일 계열의 env-based 후처리 결과와 거의 동등하거나 근접하는 성능이며, SFT 단계에서 Dockerless로 상위 25% 롤아웃을 선택한 Dockerless-SFT-9B는 Env-based 4K와 유사한 성능을 보였다. 이 결과는 env-free 롤아웃을 대규모로 수집한 뒤 강력한 검증기로 선별하면 실행 기반 데이터에 의존하지 않고도 효과적인 후처리를 수행할 수 있음을 시사한다. 민감도 및 지연 분석: 검증 질문 수 K를 0,1,2,4,6,8로 변화시킨 결과 AUC는 K=0에서 78.3에서 출발해 K=4에서 최고 81.0을 기록했고 K>4에서는 진동을 보였다. 이 결과는 2–4개의 검증 질문이 정확도와 탐색 비용의 적절한 절충점임을 나타낸다. 지연 측면에서 Dockerless의 보상 계산은 전체 롤아웃 시간에서 약 7.2%를 차지해 에이전트 롤아웃 자체가 병목이 되는 RL 워크로드에서 추가 비용이 상대적으로 작았다.

기술 상세

전체 아키텍처는 질문 생성 모듈, 병렬 서브에이전트 탐색, 그리고 판정 모듈을 하나의 백본으로 통합한 구조를 따른다. 질문 생성은 이슈 x와 참조 패치 y_ref로부터 K개의 검증 질문을 생성하고, 각 질문은 독립 서브에이전트로 전달되어 저장소 내 파일 검색과 코드 발췌로 답변을 만든다. 판정은 (x,y_ref,y,{(Q_k,A_k)})를 입력으로 두 이진 토큰의 로짓을 계산하고 소프트맥스 변환으로 연속 점수 r_φ(x,y)을 출력한다.

한계점

논문에서 명시한 제약으로 교사 모델과 실행 라벨이 필요한 rejection sampling 과정이 요구되므로 초기 학습 데이터 구성에는 여전히 실행 기반 레이블이 필요했다. 검증 질문 수가 증가하면 중복되거나 잡음이 많은 증거가 유입되어 성능이 악화될 수 있음을 확인했고, 따라서 K의 선택이 정확도와 탐색 비용 간의 중요한 하이퍼파라미터가 되었다. 보상 계산은 전체 롤아웃 시간 대비 상대적으로 작은 비율이지만 Dockerless의 탐색 단계는 여전히 기본적 보상자보다 더 높은 지연을 유발하며 실시간 응답성이 필요한 일부 워크로드에는 부적합할 수 있다.

실무 활용

Dockerless는 per-repository Docker 환경 구성이 불가능하거나 비용이 큰 실제 저장소에서 SFT 데이터 선별과 RL 보상 계산을 환경 비의존적으로 수행할 수 있게 한다. 이로 인해 대규모 롤아웃 수집과 후처리 파이프라인 확장이 가능하며, 실행 불가능 저장소나 사내 프라이빗 코드베이스에도 적용 여지가 있다. 단일 최소 이미지에서 운용되므로 인프라 오버헤드와 환경 재현성 문제를 줄인다.

대규모 env-free 롤아웃 수집 후 상위 롤아웃만을 선별해 SFT 데이터를 구성하는 RFT(거부 표본추출 기반) 파이프라인
SFT 초기화 모델 위에서 Dockerless 보상을 이용해 GRPO로 RL을 수행하는 환경 비의존 RL 파이프라인
테스트가 부족하거나 실행 환경을 재현하기 어려운 레거시·프라이빗 저장소에서 패치 정합성 신호를 얻어 모델 성능을 개선하는 워크플로

코드 공개 여부: 비공개

키워드

Dockerless(Dockerless)environment-free(환경 비의존)agentic verifier(에이전틱 검증기)rejection sampling(거부 표본추출)SFT(지도 미세조정)

용어 해설

환경 비의존(Environment-free): — 에이전트가 각 저장소별로 Docker 이미지나 종속성을 설치하지 않고 단일 최소 기반 이미지에서 코드 롤아웃을 수집하고 평가하는 설정이다. 이 설정에서는 테스트 실행 기반의 정확한 검증 신호가 없으므로 저장소 내부 문맥을 대체할 검증 방법이 필요하다. 논문 맥락에서는 확장성 확보와 사생활·레거시 코드 저장소 평가를 위한 핵심 전제로 사용된다.
에이전틱 검증기(Agentic Verifier): — 검증 과정을 단순 점수화가 아니라 여러 검증 질문을 생성하고 병렬 서브에이전트를 통해 저장소를 탐색하여 증거 기반 답변을 수집한 뒤 최종 판정을 내리는 에이전트형 검증기이다. 각 서브에이전트는 읽기 전용 셸 도구(find, rg 등)를 호출해 증거를 수집하고, 수집된 (질문,답변) 쌍을 근거로 최종 확률적 판정을 출력한다. Dockerless는 이 개념을 바탕으로 실행 없이도 저장소 맥락으로 정합성 판정을 수행한다.
거부 표본추출(Rejection Sampling): — 교사 모델이 생성한 질문-답변-판정 궤적이 실제 테스트 실행 결과(ground-truth)와 일치할 때만 학습 데이터로 보관하는 표본추출 절차이다. 이 방식은 검증기 학습 신호의 일관성을 유지하고, 우연히 정답과 일치하는 잘못된 추론 궤적을 제거한다. 논문에서는 실행 라벨이 있는 후보 패치 3.7K 샘플로 이 과정을 적용해 Dockerless를 학습시켰다.
GRPO: — 그룹 기반 정규화 보상(그룹 정규화된 확장)을 사용해 RL 업데이트를 안정화하는 알고리즘이다. 각 이슈에 대해 수집된 복수 롤아웃의 보상 분포를 이용해 그룹 정규화된 어드밴티지를 계산하고 이를 GRPO 목적함수에 적용한다. 논문에서는 Dockerless로 산정한 보상을 GRPO로 최적화해 RL 모델을 학습했다.

Dockerless: 코딩 에이전트를 위한 환경 비의존 프로그램 검증기

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 피드

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

관련 토론

댓글

관련 피드