RewardHarness: 자기 진화형 에이전트적 포스트 트레이닝

이미지 편집 평가에서 인간 선호를 반영하는 보상 신호를 얻기 위한 대규모 주석·모형 학습의 데이터 비용이 큰 문제이다. RewardHarness는 파라미터 업데이트 없이 컨텍스트를 확장하는 방식으로 평가 지식을 외부 라이브러리로 진화시키며 100개의 예시만으로 벤치에서 강력한 성능을 달성한다. 이는 API 기반 모델에서도 활용 가능하며 해석가능한 추론 흐름을 제공한다.

출발점: 이미지 편집의 품질 평가에서 사람의 선호를 정확히 반영하는 보상은 데이터 소요가 큰 문제가 된다. 기존 방식은 대규모 선호 주석과 보상 모델 학습에 의존한다. 해결 원리: Weight를 학습하는 대신 컨텍스트를 확장하는 Self-Evolving Agentic Reward Modeling으로, Skills(평가 가이드)와 Tools(시각 분석 절차)로 구성된 라이브러리를 진화시킨다. Orchestrator가 적합한 스킬-툴 조합을 선택하고, frozen Sub-Agent가 이를 활용해 평가를 수행하며, 추론 체인과 도구 호출은 외부 저장소에 저장되어 재사용 가능하다. 결과적으로 데이터 효율성을 높이고 해석 가능성을 유지한다. 달라지는 점: 100개의 시연만으로도 47.4%의 평균 정확도와 62.5%의 검증 정확도를 달성하였고, 라이브러리는 13개에서 7개로 간소화되며 도구 비중이 늘어난 Grounded 방식으로 수렴한다. 또한 API 기반 모델에서도 효과적으로 작동한다.

Orchestrator는 Claude에 의존하며 오픈소스 대안으로의 이식성 및 재현성에 한계가 있다. Sub-Agent를 플러그인 형태로 교체 가능하지만, Orchestrator를 오픈소스로 검증하지는 않았다. 또한 현재의 진화 루프는 검증 집합의 균질성에 의해 특정 실패 모드에 대해 과적합될 위험이 있으며, 다양한 도메인에서의 일반화를 추가적으로 확인해야 한다.