QVal: 장기 지평 LLM 에이전트용 밀집 감독 신호의 저비용 평가

장기 지평의 에이전트 과업에서는 최종 보상만으로는 중간 행동의 가치를 식별하기 어렵기 때문에 밀집 감독 신호가 학습에 필수적인 정보를 제공한다. 기존 평가 방식은 각 신호를 실제 RL 파이프라인에 통합해 학습 성능을 비교했기 때문에 비용이 크고 감독 신호 자체의 질과 학습 엔지니어링 요소가 뒤섞였다. QVal은 학습을 거치지 않고 참조 정책의 Q값과의 정렬성(Q-alignment)을 직접 측정해 신호의 본질적 품질을 빠르게 판별할 수 있다.

문제 출발점은 장기 궤적에서 최종 보상만으로는 각 중간 행동이 최종 결과에 기여하는지를 판별하기 어렵다는 점이다. 강화학습의 Qπ(s,a) 값은 특정 상태에서 어떠한 행동을 취한 뒤 참조 정책으로 계속 행동했을 때의 기대 반환을 수치로 제공하므로, 밀집 감독 신호는 이 Q 값의 순위를 재현하면 중간 행동에 대한 유용한 학습 신호가 된다. 따라서 방법의 유효성은 그 방법이 상태-행동 쌍을 참조 Q값의 단조증가 함수처럼 정렬할 수 있는지, 즉 Q 정렬도를 얼마나 잘 달성하는지로 측정할 수 있다.

이 논문은 다양한 방법들이 출력하는 스코어들이 서로 다른 스케일과 표현을 가지므로 절대값 비교가 부적절하다고 보고 순서를 기준으로 비교하는 방식을 취한다. 입력으로 주어진 동일한 상태-행동 집합에 대해 각 방법이 내놓는 스코어들의 순위를 참조 Q값의 순위와 Spearman ρ로 비교하면, 스코어의 보정이나 스케일 문제를 피하고 오직 신호가 순서 정보를 얼마나 담고 있는지 평가할 수 있다. 이 접근은 학습 파이프라인에 신호를 통합하기 전에 신호 자체의 질을 빠르게 판별할 수 있게 한다.

QVal은 참조 정책을 라벨 생성에 이용하므로 참조 정책이 가능한 한 강할수록 Q 정렬이 downstream 유용성의 좋은 프록시가 된다. 참조 정책이 최적 정책에 가깝다면 높은 Qπ 값은 실제로 높은 장기 보상을 의미하므로 신호가 그 값을 잘 반영하면 학습에서 유익할 가능성이 크다. 반면 참조 정책이 약하면 정렬의 의미가 떨어지므로 환경별로 강한 참조 정책을 확보하는 절차가 평가 품질에 필수적이다.

전체 접근은 세 단계로 구성되었다: 다중 환경에서 궤적을 수집하고, 각 상태-행동 쌍에 대해 참조 정책으로부터 Qπ(s,a) 라벨을 생성한 뒤, 각 밀집 감독 방법이 부여한 스코어와 라벨의 순위 상관을 계산해 Q 정렬도를 측정하는 방식이다. 이 파이프라인은 학습이나 파인튜닝을 요구하지 않으므로 방법별로 요구되는 학습 엔지니어링 요소와 분리된 신호 품질 비교를 가능하게 한다. 모든 방법은 동일한 고수준 태스크 설명과 환경 규격을 제공받아 공정한 입력을 보장받았다.

라벨링은 환경별로 적합한 참조 정책을 사용해 이루어졌다. FrozenLake와 OpenApps에서는 스크립트 기반의 최적 혹은 준최적 정책을 사용했고 ALFWorld는 플래너 기반 전문가를 사용했다. TerminalBench처럼 최적 정책을 확보하기 어려운 환경에서는 GPT-5.5 등 강한 모델을 이용한 MVMC(k=16)를 적용해 여러 롤아웃 중 최대 반환을 라벨로 삼았다.

Q 정렬도는 각 방법이 출력하는 값의 스케일 불일치를 피하기 위해 순위 기반 지표로 측정되었다. 구체적으로 전역적 순서 평가(global Spearman)와 상태-로컬 순서 평가(state-local Spearman)를 구분해, 전체 데이터셋에서의 순서일관성과 단일 상태 내 행동들에 대한 정렬 능력을 동시에 평가했다. 순위 계산 시에는 동점과 NaN 처리를 통일하여 비교 가능성을 유지했다.

주요 결과는 직접 프롬프트(direct)와 순위화(ranking) 기반 방법이 평균적으로 가장 높은 Q 정렬도를 보였다는 것이다. 이들 간단한 방법이 복잡한 자기증류나 코드 생성 기반 방식보다 일관되게 우수했고, 방법군별로 성능 범위가 명확히 구분되어 가족 단위의 클러스터가 관측되었다. 이러한 패턴은 모델 크기와 관측 모달리티, 환경별 특성 전반에서 견고하게 재현되었다.

코드 기반 방법은 환경의 구조와 입력의 복잡성에 매우 민감해 분산이 컸고, 작은 구조화된 환경에서는 양호했으나 열린 환경에서는 성능이 크게 떨어지는 경우가 관찰되었다. 방법 내부에서 더 복잡한 변형들(예: 배치 처리, 다중 추정 평균화 등)은 일관된 성능 향상을 보이지 못해 복잡성의 증가가 항상 신호 품질 개선으로 이어지지 않는다는 사실이 드러났다. 환경 난이도 단독으로 성능을 예측하지 못했으며, 각 방법군은 상태 공간, 행동 공간, 관측 모달리티의 상호작용에 따라 다르게 반응했다.

모달리티 분석에서는 동일 상태의 텍스트 표현이 이미지 표현보다 참조 Q값을 더 잘 복원하는 경향이 관찰되었다. 이는 시각 입력이 원시 픽셀 기반일 때 필요한 상징적·관계적 정보를 추출하기 어렵기 때문일 가능성이 높다. 또한 TerminalBench 라벨링에서 사용한 참조 백본(GPT-5.5)과 대체 백본(Claude Opus 4.7) 간에 방법별 상관 순위가 유사해 라벨의 안정성이 확인되었다.

QVal의 전체 아키텍처는 데이터 수집, 라벨 생성, 방법별 스코어 예측, 순위 비교의 네 단계로 이루어졌다. 데이터 수집 단계에서는 각 환경에서 다양한 수준의 성공률을 담도록 스크립트·모델 기반 정책을 섞어 궤적을 확보했고, 각 상태에서 대체 행동들을 샘플링해 상태 내 비교가 가능하도록 구성했다. 라벨 생성 단계에서는 상태-행동 쌍 복원 후 참조 정책으로 롤아웃해 할인합을 계산하고 확률적 상황에서는 여러 롤아웃의 최대값을 택해 강한 Q 라벨을 얻었다.

참조 Q값 산출은 환경에 따라 다른 전략을 썼다. FrozenLake와 OpenApps는 스크립트 기반 참조 정책으로 거의 결정적 라벨을 얻었고 ALFWorld는 플래너 기반 전문가를 사용했다. TerminalBench는 최적 정책 탐색이 불가능하여 GPT-5.5와 같은 강한 모델을 MVMC(k=16)로 사용해 근사 참조 라벨을 만들었으며, 라벨의 신뢰성 검증을 위해 Claude Opus 4.7로 대체 실험을 수행해 결과의 일관성을 확인했다.

Q 정렬도 계산은 스코어의 절대값 차이를 무시하고 순서만을 비교하는 Spearman ρ를 주 지표로 사용했다. 일부 방법은 상태별로 행동의 순열을 출력하기 때문에 전역적 순서(global Spearman)와 상태-로컬 평균(state-local Spearman)을 구분해 보고했다. 동점과 결측치는 통일된 처리 규칙을 적용해 순위 계산의 편향을 최소화했다.

실험 구성은 네 환경(FrozenLake, ALFWorld, OpenApps, TerminalBench), 21개 방법, 7개 방법군, 6개 오픈웨이트 백본(Qwen3.5 계열과 Gemma 4 계열 등)을 포함해 1.2K 이상의 평가 실행을 수행했다. 모든 방법은 동일한 태스크 설명과 환경 규격을 입력으로 받아 비교 가능성을 보장했고 시각 환경에서는 동일한 프롬프트에 이미지 입력만 바꿔 실험을 수행해 모달리티 영향을 분석했다.

논문은 QVal이 신호의 순위 정합성만을 평가하므로 Q 정렬이 높다고 해서 downstream 학습 성능이 반드시 개선된다고 단정할 수 없음을 명시했다. 일부 유용한 신호는 탐색 촉진 등 다른 목적에서 가치를 발휘할 수 있어 Q 정렬이 낮더라도 학습에서 유익할 가능성이 존재한다는 한계가 있었다. 또한 참조 정책을 확보하기 어려운 환경에서는 MVMC로 근사 라벨을 생성하는데, 이 경우 라벨 품질이 참조 백본의 능력에 의존하므로 라벨링 절차의 한계가 존재한다.