Routing Harness로 재귀적 자기 개선을 구현하는 NeoHorse-1

왜 중요한가

Recursive Self-Improvement의 핵심은 모델이 자신의 능력과 부족한 영역을 관찰하고 그 결과를 다음 학습에 반영하는 구체적 경로입니다. NeoHorse-1은 배포 중인 Routing Harness가 이미 기록하는 실행 궤적, 능력 요구량, 검증 결과를 하나의 평가–선택–업데이트 순환으로 연결해 이 경로를 구현합니다. 4B 모델의 macro-average는 58.94에서 64.87로, 9B 모델은 65.60에서 69.04로 상승해 실행 중심 학습의 효과를 수치로 확인했습니다.

핵심 기여

Routing Harness를 RSI 피드백 경로로 활용

각 User Turn에 대해 Router의 능력 요구량, 실제 선택된 Service Tier, 이후 실행과 결과를 함께 기록합니다. 평가 결과가 다음 Training Mixture의 부족 영역을 결정하고, 업데이트된 Checkpoint가 다시 Harness에 투입되어 새 궤적을 생성합니다.

실행 맥락을 보존한 Agentic SFT 구성

User Request, Interleaved Reasoning, Tool Call, Tool Result, Harness Context를 User-Turn 단위로 직렬화합니다. 현재 Turn의 Assistant Target에만 Prediction Loss를 적용해 모델이 실행 조건과 행동 순서를 함께 학습하도록 구성합니다.

Routing 점수 기반 3단계 Curriculum

Router가 산출한 C0~C3 능력 요구량과 정규화 점수를 이용해 SFT 예제를 세 단계로 배열합니다. 높은 요구량 예제를 점진적으로 추가하면서 낮은 요구량 예제 일부를 후반에도 유지해 학습 말미가 복잡한 요청에만 치우치지 않도록 합니다.

Student 생성 상태를 따르는 On-Policy Distillation

기록된 Context에서 Student가 응답을 생성하고, Teacher가 Student가 방문한 각 Prefix의 다음 Token 분포를 감독합니다. 동일한 Routing 기반 단계 순서를 Context 배치에 적용해 학습 자료의 난이도와 Student의 실제 생성 행동을 함께 조정합니다.

능력 결손 기반 Training Mixture 재배분

검증 결과를 Task, Quality Dimension, Outcome, Routing Tier별로 집계해 Model-Deficiency Profile을 구성합니다. 성능이 낮은 영역의 데이터 비중을 높이고 성공 궤적은 긍정 감독으로 유지하면서 다음 반복의 학습 구성을 바꿉니다.

핵심 아이디어 이해하기

일반적인 Instruction Tuning은 질문과 정답의 쌍을 주로 사용하지만, 에이전트 작업에서는 성공 여부가 최종 문장만으로 결정되지 않습니다. 모델이 어떤 파일을 찾았는지, 어떤 Tool을 호출했는지, 환경 결과를 읽고 다음 행동을 바꿨는지가 작업 완료를 좌우합니다. 따라서 User Request에서 시작해 Reasoning, Tool Action, Observation, Recovery, Terminal Outcome으로 이어지는 실행 궤적 전체가 학습 근거가 됩니다.

NeoHorse-1은 Routing Harness를 단순한 요청 분배기가 아니라 능력 측정 장치로 사용합니다. Router는 현재 Request, 최근 Dialogue, 이전 Routing 결정, 실행 상태를 입력으로 받아 C0부터 C3까지의 능력 요구량을 추정합니다. 이 점수는 실제로 어떤 모델이 선택됐는지와 분리됩니다. 사용자 지정, 서비스 가용성, 정책 때문에 선택된 모델이 요청의 본래 요구량을 정확히 나타내지 않을 수 있기 때문입니다. 예를 들어 C2는 다단계 추론과 실행이 필요한 요청, C3는 가장 높은 Capability 또는 Reliability가 필요한 요청을 뜻합니다.

이 신호는 먼저 학습 순서를 바꾸고, 이후 평가 결과는 데이터 구성을 바꿉니다. 낮은 요구량에서 높은 요구량으로 진행하는 SFT와 On-Policy Distillation을 거친 뒤, 모델이 어떤 Scene·Goal·Outcome 조합에서 실패했는지 집계해 다음 Training Mixture를 조정합니다. 학습된 모델이 다시 Harness에서 실행되면 새 궤적과 부족 영역이 생기므로, 모델의 행동이 다음에 배울 경험을 선택하는 순환이 형성됩니다.

방법론

데이터는 전체 실행을 뜻하는 Trajectory, 다음 사용자 요청이나 종료 시점까지의 User Turn, 같은 Local Goal을 공유하는 인접 Turn 묶음인 Subscene의 세 단위로 구성합니다. 각 User Turn에는 현재 요청과 그 뒤의 Assistant 응답, Tool Call, Tool Result가 들어가며 이전 Turn의 Visible Response와 Tool 상호작용은 Context로 남깁니다. 이전 Turn의 Reasoning은 제외해 현재 학습 대상과 역사적 실행 조건을 구분합니다. 주된 Harness 생성 데이터는 10^5~10^6개 수준의 Trajectory이며, 중복 제거·오염 제거·Tokenizer 고정 뒤 Trajectory 수와 Token 수를 기록합니다.

품질 관리는 구조 검증과 의미 평가를 분리합니다. 구조 검증은 Request·Response·Tool Call·Observation·Terminal Event의 순서, 읽을 수 있는 Payload, Tool Call과 Result의 식별자 연결, 종료 분기를 규칙으로 확인합니다. 결과는 완전, 부분 복구 가능, 격리로 나뉘며 복구 가능한 궤적은 인과적으로 닫힌 Sub-Trajectory만 사용합니다. 의미 평가는 Goal Attainment, Instruction Adherence, Tool Use, Evidence Consistency, Error Recovery, Termination의 6개 차원을 PASS·WARN·FAIL·NOT_EVALUATED로 저장합니다. 근거가 없거나 Judge 호출이 중단된 경우 긍정 판정으로 바꾸지 않습니다.

각 Subscene은 Scene·Goal·Outcome 세 축으로 라벨링합니다. Scene은 Task, Domain, Use Context, Asking/Doing을 기록하고, Goal은 Correctness·Completeness·Format Compliance 같은 Acceptance와 New·Continued·Modified 같은 Cross-Turn Relation을 기록합니다. Outcome은 Artifact Produced, State Change, Evidence Available, Goal Satisfaction처럼 실제로 확인 가능한 결과를 기록합니다. 이 구조는 사용자의 의도, 실행 과정, 결과를 연결해 어느 Capability 영역의 데이터가 부족한지 찾도록 합니다.

SFT에서는 현재 User Turn의 Reasoning, 직렬화된 Tool Call과 Arguments, Visible Response, End-of-Response Token에만 Mask를 1로 둡니다. System Instruction, Tool Specification, User Message, Tool Result, Padding은 입력 Context로만 사용하며 Loss를 계산하지 않습니다. Routing 점수는 Hard Ordering에서 할당 Tier Index를, Soft Ordering에서 C0~C3 점수의 가중평균을 사용합니다. 세 단계마다 대략 전체 예제의 3분의 1을 사용하고 Optimizer와 Learning-Rate Schedule은 단계 사이에서 초기화하지 않습니다.

On-Policy Distillation에서는 각 단계의 Routing 점수로 기록된 시작 Context를 배정한 뒤, Student Checkpoint가 응답을 생성합니다. 고정된 Teacher는 Student가 생성한 각 Prefix에서 다음 Token 분포를 계산하고, 두 모델의 Top-K 후보와 나머지 확률 질량을 하나의 구간으로 묶은 K+1개 분포를 비교합니다. Student만 업데이트하며, 이후 Rollout에는 갱신된 Student Checkpoint를 사용합니다. 이렇게 하면 고정 Teacher 궤적을 그대로 복사하는 대신 Student가 실제로 만든 Prefix에 대한 감독이 가능해집니다.

주요 결과

NeoHorse-1-4B의 macro-average는 Qwen3.5-4B의 58.94에서 64.87로 상승했고, NeoHorse-1-9B는 Qwen3.5-9B의 65.60에서 69.04로 상승했습니다. 4B 모델은 비교 가능한 모든 Benchmark에서 Qwen3.5-4B보다 높은 점수를 기록했으며, 9B 모델의 향상은 Harness 기반 Agent Task, Tool Interaction, 일부 Coding에서 특히 컸습니다. Instruction Following 점수 변화는 상대적으로 작아, 학습 효과가 정적 지시 준수보다 다단계 실행에 더 집중됐습니다.

세부 궤적에서도 차이가 확인됐습니다. Qwen3.5-4B는 프로젝트 일정 작업에서 관리자의 최신 의존성 정보가 담긴 Email을 읽지 않아 잘못된 Schedule과 Artifact 경로를 만들었지만, NeoHorse-1-4B는 추가 Evidence를 수집하고 의존성을 반영한 뒤 Schedule을 재계산·검증했습니다. Code Repair에서는 NeoHorse-1-9B가 Edit–Test–Inspect–Repair 순환을 반복해 Verifier를 통과한 반면, NeoHorse-1-4B는 한 번의 구현 뒤 효과적인 Test와 Repair 순환을 만들지 못했습니다.

환경 제약에 대한 전략 전환에서도 9B 모델의 이점이 나타났습니다. pandas를 사용할 수 없었던 작업에서 4B 모델은 Dependency 설치와 수동 CSV 파싱을 반복했지만, 9B 모델은 Python 표준 csv 및 수학 라이브러리로 전환해 보고서를 완성했습니다. 9B 궤적은 4B 대비 Model Request 약 70.8%, 실행 시간 76.7%, Token 사용량 83.6%를 줄였습니다.

동일한 Routing 기반 학습 설정에서 Routing-Harness 데이터는 공개 Toucan Agent 데이터보다 5개 Benchmark 평균을 64.32에서 70.57로 높였습니다. 차이는 HumanEval에서 +8.54점, τ²-Bench에서 +11.31점이었고, BFCL·IF·LiveCodeBench에서도 Routing-Harness 데이터가 앞섰습니다. 중첩된 데이터 부분집합을 늘린 실험에서는 5개 Benchmark 평균이 Base Model의 69.31에서 가장 큰 데이터 규모의 71.45로 상승했습니다.

기술 상세

User-Turn 직렬화 시 입력 시퀀스는 역사적 Context와 현재 Turn을 함께 포함합니다. 현재 Turn의 Assistant Target Token에만 이진 Mask $m_{i,t}$ 를 1로 두고 나머지는 0으로 둡니다. 배치 $\mathcal{B}$ 에서 $x_{i,t}$ 는 시점 $t$ 의 Token, $x_{i,<t}$ 는 그 이전 Token, $p_\theta$ 는 Student가 계산한 다음 Token 확률이며, SFT 손실은 $-\log(p_\theta(x_{i,t}\mid x_{i,<t}))$ 를 Mask가 1인 Token에만 적용한 뒤 해당 Target Token 수로 나눕니다. 정답 Token 확률이 0.9이면 해당 Token 손실은 약 0.1이고, 0.1이면 약 2.3이므로 모델은 정답 확률을 높이는 방향으로 업데이트됩니다.

Routing Score는 Hard Ordering에서 $s_i=k_i$ 로, Soft Ordering에서 $s_i=\sum_{k=0}^{3}k\pi_{i,k}$ 로 계산합니다. $k_i$ 는 예제에 할당된 C0~C3 Tier Index이고, $\pi_{i,k}$ 는 각 Tier에 대한 정규화 점수이며 합은 1입니다. 예를 들어 C1에 0.6, C2에 0.4의 점수가 있으면 Soft Score는 $1×0.6+2×0.4=1.4$ 가 되어 C1에만 배정된 예제보다 높은 요구량으로 정렬됩니다. 이 값은 SFT Loss의 가중치가 아니라 예제와 Distillation Context의 순서를 결정합니다.

On-Policy Distillation은 Student가 만든 응답 $r$ 의 각 Token 위치 $t$ 에서 Student 분포 $\widetilde{P}_{\theta,r,t}$ 와 Teacher 분포 $\widetilde{Q}_{r,t}$ 를 비교합니다. 두 분포는 동일한 Top-K 후보와 나머지 전체 확률 질량을 포함한 K+1개 구간으로 구성하며, 응답별 평균 Token 수만큼 역방향 KL 발산을 계산합니다. 응답 길이가 $L_r$ 일 때 각 위치의 $D_{KL}(\widetilde{P}\|\widetilde{Q})$ 를 $L_r$ 로 평균 내므로 긴 응답이 단순히 더 많은 Token 때문에 손실을 독점하지 않습니다. Prompt Token과 Padding은 손실에서 제외합니다.

Data Allocation은 현재 Checkpoint를 Training과 겹치지 않는 Stratified Evaluation Suite에서 측정하는 단계로 시작합니다. 결과를 Scene, Goal, Outcome, 6개 Quality Dimension, Routing Tier별로 집계해 Model-Deficiency Profile을 만들고, 성능이 낮은 영역의 Training Mixture 비중을 조정합니다. 검증된 성공 궤적은 긍정 감독으로 남기고, 정보가 있는 실패는 별도 Failure Loss를 추가하지 않고 부족한 영역의 Coverage를 늘리는 근거로 사용합니다.

실험에서는 4B와 9B 모델을 SGLang v0.5.17로 배포하고, NeoHorse-1과 Qwen3.5 기준 모델에 Temperature 1.0, Top-p 0.95, Top-k 20, Presence Penalty 1.5, Repetition Penalty 1.0을 사용했습니다. Harness 기반 QwenClawBench와 PinchBench는 OpenSquilla를 사용했으며, QwenClawBench·WorkBuddy Bench·τ²-Bench는 3회 실행의 산술평균을 보고하고 PinchBench·VitaBench는 1회 실행 결과를 사용했습니다.

한계점

현재 평가는 Agentic·Coding·Tool Use·Instruction Following 영역에 집중되어 있으며 Harness가 제공하는 더 넓은 Capability 범위까지 검증하지 않았습니다. 또한 Evaluation–Selection–Update 순환을 한 번만 실행했으므로, 여러 Model Generation에 걸쳐 성능 향상이 계속 누적되는지는 확인되지 않았습니다.

실무 활용

Routing Harness를 운영 중인 Agent System에 연결하면 요청 처리 과정에서 생성되는 Trajectory, Routing Score, 검증 결과를 Post-Training 데이터로 재사용할 수 있습니다. 특히 Tool Use, Coding, 다단계 실행처럼 최종 답변보다 상태 추적과 오류 복구가 중요한 서비스에서 Capability별 데이터 재배분과 단계적 학습에 활용할 근거가 있습니다.

Agent의 Tool Call과 실행 결과를 보존해 User-Turn 단위 SFT 데이터 구축
C0~C3 Routing Score로 요청 난이도에 따른 3단계 Curriculum 구성
Student가 생성한 실제 Prefix에 Teacher 분포를 적용하는 On-Policy Distillation
Task·Outcome·Routing Tier별 실패 영역을 찾아 다음 Training Mixture 재배분
OpenSquilla와 같은 Harness에서 업데이트된 Checkpoint를 재실행해 후속 Trajectory 수집

코드 공개 여부: 공개

코드 저장소 보기

키워드

Recursive Self-Improvement(재귀적 자기 개선)Agentic Post-Training(에이전트형 사후 학습)Routing Harness(라우팅 하네스)On-Policy Distillation(온폴리시 증류)Curriculum Learning(커리큘럼 학습)Capability-Guided Data Allocation(능력 기반 데이터 재배분)SFT(지도 Fine-tuning)

용어 해설

재귀적 자기 개선(Recursive Self-Improvement): — AI 시스템이 자신의 실행 경험과 평가 결과를 다음 학습 단계의 데이터와 업데이트 방향으로 다시 사용하는 반복 과정입니다. NeoHorse-1은 Routing Harness가 능력 요구량, 실행 궤적, 결과 신호를 수집하고 이를 학습 데이터 재배분에 연결하는 방식으로 이 과정을 구성합니다.
에이전트형 사후 학습(Agentic Post-Training): — 사용자 요청에 대한 답변만이 아니라 추론, Tool Call, 환경 관찰, 오류 복구가 포함된 에이전트 실행 궤적을 이용해 모델을 추가 학습하는 방법입니다. 모델이 실제 작업 진행과 외부 도구 사용을 학습하도록 만드는 점이 핵심입니다.
라우팅 하네스(Routing Harness): — 에이전트의 Context, Tool, 환경 상호작용을 관리하면서 각 요청을 적절한 서비스 등급이나 모델로 보내는 실행 계층입니다. 이 논문에서는 요청별 능력 요구량과 실행 결과를 기록해 학습 데이터 구성과 모델 평가에 활용합니다.
온폴리시 증류(On-Policy Distillation): — Student가 직접 생성한 Prefix와 응답에 대해 Teacher의 다음 Token 확률 분포를 제공하는 Distillation 방식입니다. 기록된 Teacher 궤적만 모방하는 대신 Student가 실제로 방문한 상태에서 감독하므로 배포 시 생성 분포와 학습 분포의 차이를 줄입니다.
커리큘럼 학습(Curriculum Learning): — 예제의 난이도나 능력 요구량을 기준으로 학습 순서를 구성하는 방법입니다. NeoHorse-1은 Router가 예측한 C0~C3 요구량 점수를 이용해 낮은 요구량에서 높은 요구량으로 3단계 학습을 진행하되, 낮은 점수 예제도 후반 단계에 남깁니다.
역방향 KL 발산(Reverse KL Divergence): — Student 분포를 기준으로 Teacher 분포와의 차이를 계산하는 Distillation 손실입니다. 이 논문에서는 Student와 Teacher의 Top-K Token 및 나머지 확률 질량을 포함한 K+1개 구간의 분포를 비교해 Student의 생성 확률을 Teacher 쪽으로 조정합니다.

Routing Harness로 재귀적 자기 개선을 구현하는 NeoHorse-1

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 기사

작업마다 스스로 진화하는 에이전트 하네스

LLM은 자신의 에이전트 하네스를 만들고 진화시킬 수 있는가

에이전트의 자율성을 높이는 지속 학습과 트레이스 데이터 마이닝 전략.

실전 에이전트를 위한 아홉 가지 설계 원칙

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

관련 토론

댓글

관련 기사

작업마다 스스로 진화하는 에이전트 하네스

LLM은 자신의 에이전트 하네스를 만들고 진화시킬 수 있는가

에이전트의 자율성을 높이는 지속 학습과 트레이스 데이터 마이닝 전략.

실전 에이전트를 위한 아홉 가지 설계 원칙