Orchard: 오픈 소스 에이전트 모델링 프레임워크

에이전트 학습 파이프라인의 핵심 병목은 실행 환경의 경계에 있다. Orchard Env는 환경 레이어를 얇은 독립 서비스로 분리해 트레이너, 어댑터, task 도메인에 구애받지 않는 재사용성과 확장성을 확보한다. 이로써 데이터 수집, SFT, RL 롤아웃, 평가 파이프라인을 서로 다른 도메인과 하니스 간에 재활용할 수 있어 연구 비용과 시간의 효율이 크게 향상된다.

단계 1: 환경 레이어를 얇고 독립적으로 분리한다. 기존 시스템은 실행 환경이 트레이너/하니스와 강하게 결합되어 재현성과 확장성에 제약이 많았지만, Orchard는 Orchard Env를 통해 task 도메인을 넘나들며 데이터 수집·훈련·평가 파이프라인을 공통화한다. 기초 개념으로서 agent-injection은 task 이미지 간 차이를 런타임에 흡수해 이미지 재구성 없이도 다양한 작업을 실행 가능하게 한다. Pod IP를 이용한 직접 라우팅은 hot-path에서 Kubernetes API 서버의 오버헤드를 제거해 평균 0.28s의 실행 지연을 달성한다. 단계 2: 학습 파이프라인은 SFT와 RL의 조합으로 구성된다. SFT 단계에서 credit-assignment SFT를 도입해 unresolved trajectories에서도 유의미한 학습 신호를 얻고, BAR을 도입해 샘플링 그룹을 보정함으로써 희소 보상 문제를 완화한다. 단계 3: 세 가지 도메인에서의 실험은 데이터 다변성(다중 teacher, 다중 harness, 다중 task 소스)과 environment layer의 무결성을 통해 harness-agnostic한 일반화 성능을 달성한다. 이는 도메인 간 재사용성과 하니스 간 상호운용성의 실용적 근거를 제공한다.

[Architecure] Orchard Env은 Client SDK, Orchestrator(FastAPI), In-Pod Agent의 3층 구조로 구성된다. In-Pod 에이전트는 컨테이너에 런타임 주입되며, 실행/파일 I/O/건강 체크를 각 샌드박스 IP로 직접 전달한다. [Requirement] Thin boundary, Low-cost image compatibility, Scale at research-scale를 충족하도록 설계되었으며, 0.28s 평균 커맨드 실행 지연, 1,000 샌드박스 스트레스 테스트, spot 인스턴스 활용으로 비용 효율성을 달성한다. [Learning] Orchard-SWE는 107K trajectories를 수집하고, SFT로 74,649 resolved + 32,536 unresolved를 학습에 사용한다. unresolved는 rise segments를 추출해 credit-estimated 신호를 제공한다. BAR는 그룹 샘플링에서 동일한 N개의 샘플이 균형을 이루도록 조정한다. [RL] RL은 GRPO 기반으로, per-prompt stride를 사용한 온라인 롤아웃으로 학습하며, 64k context 윈도우에서 150 단계까지 학습한다. [Evaluation] SWE-bench Verified를 중심으로 평가하고, Harness 간 일반화도 평가한다.

주요 결과: Orchard-SWE(3B Moe) SFT 64.3% -> SFT+RL 67.5%; Orchard-GUI 4B, SFT+RL에서 평균 68.4% 달성; Orchard-Claw SFT+RL 59.6% (pass@3), ZeroClaw에서 73.9%로 상승. 같은 empeircal setup에서 0.28s의 실행 지연과 1,000 샌드박스의 안정성, 비용 측면에서 온-프렘먼트 대비 크게 낮은 비용을 달성한다. Cross-harness 일반화: OpenHands 기반 트레이닝이 mini-swe-agent로 일반화되며, harness 간 차이는 있으나 Orchard은 여러 harness에 비교적 안정적으로 일반화한다. BAR과 credit-assignment SFT의 도입으로 불완전한 트레이젝토리에서도 학습 신호를 얻는 방법이 검증된다.

Orchard Env 아키텍처는 (i) Thin boundary의 REST API를 가진 Rapid-Orchestrator, (ii) In-Pod 에이전트로 Task 이미지에 런타임 주입, (iii) Pod-IP 직접 연결으로 핫패스 지연 최소화의 3층 구조를 취한다. 네트워크 격리(NetworkPolicy), 비동기 생애주기 관리(heartbeat), watch 기반 준비상태 추적 등을 통해 대규모 동시 샌드박스 운영의 견고성을 확보한다. 학습 측면에서 SWE 도메인에 대해 두 가지 트레이스 소스(OpenHands, mini-swe-agent)와 다중 Teacher(MiniMax-M2.5, Qwen3.5-397B)에서 Trajectory distillation을 수행하고, 제한된 unresolved traj에서 rise segment를 추출해 Credit-Assignment SFT를 수행한다. 이후 BAR 기반 RL은 N=8, Nmax=16, stride=16으로 관리되며, reward는 final patch가 gold test를 통과하면 +1, 실패 시 -1로 구성한다. Cross-harness 일반화 실험에서 harness 간 성능 편차는 존재하나 Orchard-SWE의 경우 상대적으로 안정적인 성능 유지가 관찰된다.