프레임 순서 기반 진행도만으로 학습하는 Rank-Then-Act

왜 중요한가

비디오만으로 동작을 학습하면 수작업으로 보상 함수를 설계해야 하는 부담과 보상 해킹 위험을 줄일 수 있다. 이 논문은 시각-언어 모델을 서열 추정기로 학습해 프레임 순서 일치도만으로 정책을 학습시키는 구조를 제안해 보상 캘리브레이션 문제를 회피했다. 그 결과 단일 사전학습된 진행도 스코어러를 여러 과제에 재사용할 수 있어 확장성과 실용성이 개선되었다.

핵심 기여

프레임 서열을 학습하는 listwise VLM 진행도 스코어러 제안

전문가 비디오의 클립을 앵커-셰플 전략으로 구성하고 VLM을 listwise 방식으로 파인튜닝해 각 프레임의 진행도 순위를 출력하도록 학습시켰다. 이 학습은 GRPO 목표를 사용해 출력 토큰 정책을 통해 Spearman 순위상관 보상을 최대화하는 형태로 진행되었다. 학습 완료 후 스코어러는 고정(frozen)되어 온라인 정책 학습 단계에서만 입력으로 사용되었다.

Spearman 순위상관을 이용한 상한화된 스케일 불변 보상 설계

온라인 상호작용 시 슬라이딩 윈도우 내에서 스코어러가 예측한 프레임 순위와 해당 창의 실제 타임스탬프 순위의 Spearman ρ를 계산해 보상으로 사용했다. 이 보상은 항상 [-1,1]로 정규화되어 스케일·캘리브레이션 이슈를 제거하고 서로 다른 에피소드와 과제 간 보상 재사용을 가능하게 했다. 보상은 N 스텝마다 계산하고 L번 셔플 평균을 취해 분산과 비용을 조절했다.

단일 스코어러의 교차 과제 전이성 검증

하나의 VLM 기반 진행도 스코어러를 여러 레벨과 게임 영상으로 학습하거나 다양한 소스(YouTube, COIN, MetaWorld)로 학습한 뒤 미지의 레벨에서 평가해 전이 성능을 확인했다. 풀(pool) 학습이나 다양한 플레이스루를 섞은 학습이 개별 레벨 학습보다 더 강한 전이를 보였고 특히 단순 레벨로의 전이는 비대칭적으로 용이했다. 이 결과는 단일 스코어러가 도메인 일반성을 갖고 여러 제어 과제에 재사용될 수 있음을 시사했다.

비디오 기반 보상 학습 경쟁 기법 대비 실험적 우위

Catrap, Kirby, PointMaze, MetaWorld 같은 이산 및 연속 제어 벤치마크에서 Rank2Reward, VLM-RM 등 기존의 비디오 기반 보상 방법과 비교 평가를 수행했다. 테이블 결과에서 RTA는 다수의 레벨에서 우수한 성공률을 기록했고 연속 제어 과제에서도 Rank2Reward 대비 전반적으로 경쟁력 있는 성능을 보였다. 또한 RTA는 단일 스코어러로 여러 과제를 처리할 수 있어 per-task 재학습이 필요한 기법보다 확장성이 높았다.

핵심 아이디어 이해하기

학습 문제의 출발점은 영상 시퀀스에서 목표 진행도(progress)를 얻어 정책 학습에 쓰는 것이다. 기존 방식은 프레임에 절대적 스칼라 보상을 회귀하거나 엔드-투-엔드 방식으로 보상 모델을 학습했는데, 이때 시간 정보가 노출되면 단순히 '나중일수록 더 좋다'는 편법이 생겨 실제 의미 있는 진행도를 잡지 못했다. 따라서 시퀀스의 상대적인 서열을 학습 신호로 삼아 시간 인덱스 자체를 제거해야 진짜 시각적 진행 단서를 활용할 수 있다.

방법론

해결 원리는 두 단계로 이루어졌다. 첫 단계는 VLM을 리스트와이즈(listwise) 기준으로 미세조정해 섞인(shuffled) 클립 내에서 각 비앵커 프레임의 진행도 순위를 출력하도록 학습시키는 것이다. 학습 데이터는 시연 비디오를 일정 길이의 클립으로 자르고 첫 프레임을 앵커로 고정한 뒤 나머지를 임의로 섞어 구성했으며 이로써 시간 정보에 의존하는 쉬운 해법을 차단했다.

주요 결과

메인 벤치마크에서 RTA는 Catrap Level 2에서 1.00 ± 0.00의 성공률을 달성했고 Level 4에서는 0.72 ± 0.35, Level 6에서는 0.32 ± 0.27, Kirby에서는 0.07 ± 0.09를 기록해 다수의 레벨에서 기존 기법을 능가했다. Cross-domain 실험에서는 YouTube, Full Catrap, MetaWorld 등 다양한 소스에서 학습한 스코어러가 별도 튜닝 없이도 의미 있는 보상 신호를 제공했으며 Table 2의 결과는 서로 다른 시각 도메인에서의 보상 재사용 가능성을 뒷받침했다. 연속 제어 실험에서는 PointMaze·UMaze·MetaWorld에서 Rank2Reward 대비 전반적으로 더 나은 또는 경쟁력 있는 학습 곡선을 보였고 GAIL 스타일 보상을 추가한 혼합 보상과 비교하는 실험에서 RTA의 순위 상관 보상이 유의미한 기여를 했음이 관찰되었다.

기술 상세

전체 아키텍처는 두 단계로 구성되며 첫 단계는 VLM 기반의 진행도 스코어러 f_φ를 학습시키는 모듈이다. 입력으로 K프레임 시퀀스를 받되 첫 프레임을 고정 앵커로 사용하고 나머지 K−1 프레임을 무작위 섞어 VLM이 각 비앵커 프레임에 대해 진행도 순위를 출력하도록 설계했다. 출력은 엄격한 정규식으로 파싱해 K−1개의 순위 스칼라 벡터 p를 얻고, 이 벡터와 실제 타임스탬프 순위 q 사이의 Spearman ρ를 리스트와이즈 보상 R으로 사용해 GRPO 목표로 최적화했다.

한계점

논문에서 명시한 주요 한계는 학습 데이터의 다양성에 대한 민감성이다. 소스 비디오 분포가 편향되면 스코어러가 특정 레벨에 과적합해 다른 레벨로의 전이가 저해될 수 있다. 또한 윈도우 크기 선택에 따라 보상 신호의 민감도가 크게 달라지며 작은 창은 지역적 일관성에 과도하게 반응하고 큰 창은 신호 희석을 초래할 수 있다고 보고되었다.

실무 활용

실무 관점에서 RTA는 전문가 비디오만 확보하면 환경별 보상 엔지니어링 없이 정책을 학습할 수 있는 실용성을 제공한다. 단일으로 학습된 진행도 스코어러를 여러 과제에 재사용할 수 있어 데이터 수집·유지 비용을 줄일 수 있다. 다만 스코어러의 학습 데이터 범위와 품질이 성능을 좌우하므로 다양한 시각 도메인에서 대표성을 확보하는 과정이 필요하다.

현장에서 실제 로봇 작업 시 명확한 보상 신호를 정의하기 어려운 과제에서 전문가 조작 영상만으로 초기 정책을 학습하는 데 적용 가능하다. 이 경우 영상은 다양한 시점·조명·작업 스타일을 포함해 수집해야 스코어러의 일반화가 보장된다.
시뮬레이터 기반 레거시 게임이나 레거시 시뮬레이션에서 환경의 보상 API가 부정확하거나 제공되지 않을 때 복수 플레이스루 영상을 사용해 보상-프리 정책 학습을 수행할 수 있다. 스코어러는 한 번 학습해 여러 레벨에 재사용할 수 있어 비용 효율적이다.
데이터 효율을 중시하는 연구 환경에서 여러 과제를 가로지르는 단일 진행도 추정기를 사전학습한 뒤 downstream 과제에 빠르게 적응시키는 전이 학습 파이프라인의 구성 요소로 활용할 수 있다. 전이 성능은 소스 데이터의 다양성에 민감하므로 도메인 셋 선택이 중요하다.

코드 공개 여부: 공개

코드 저장소 보기

키워드

Vision–Language Model(비전-언어 모델)Spearman ρ(스피어만 순위 상관)GRPO(그룹 상대 정책 최적화)rank-correlation-reward(순위상관 보상)ordinal-supervision(서수 기반 감독)

용어 해설

서열(순서) 기반 감독(Ordinal Supervision): — 서열 기반 감독은 영상 프레임의 상대적 시간적 순서를 학습 신호로 사용한다. 모델은 프레임들이 어떤 시간적 순서를 가지는지 예측하며 이 정보를 통해 절대적 보상 값 대신 순서 일치 정도를 학습 신호로 활용한다. 본 논문에서는 이 서열 정보를 Spearman 순위상관을 통해 보상으로 변환해 정책 학습에 사용한다.
그룹 상대 정책 최적화(GRPO): — GRPO는 텍스트 생성 과정을 정책으로 간주해 listwise 보상 신호를 최적화하는 방식이다. 출력 토큰 시퀀스에 대해 중요도 가중치와 그룹 단위 이점을 계산해 PPO 유사 클리핑 손실로 최적화한다. 본 논문은 VLM의 출력으로부터 얻은 순위 기반 Spearman 보상을 GRPO로 최대화해 프레임 순서 회복 능력을 학습시켰다.
스피어만 순위 상관계수(Spearman ρ): — Spearman ρ는 두 벡터의 순위 간 피어슨 상관을 계산해 [-1,1]로 정규화된 일치도를 제공한다. 예측된 프레임 순위와 실제 타임스탬프 순위를 입력으로 받아 순서 일치도를 측정하며, 이 값이 보상 신호로 쓰이면 스케일에 무관한 학습 신호가 확보된다. 본 방법은 보상 캘리브레이션 없이 서로 다른 에피소드·과제 간 보상 재사용을 가능하게 한다.

프레임 순서 기반 진행도만으로 학습하는 Rank-Then-Act

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 기사

로봇의 미래를 상상하는 World Model과 World Action Model의 진화

프로브 기반 학습의 다음 연구 과제

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

관련 토론

댓글

관련 기사

로봇의 미래를 상상하는 World Model과 World Action Model의 진화

프로브 기반 학습의 다음 연구 과제