TL;DR
비디오만으로 동작을 학습하면 수작업으로 보상 함수를 설계해야 하는 부담과 보상 해킹 위험을 줄일 수 있다. 이 논문은 시각-언어 모델을 서열 추정기로 학습해 프레임 순서 일치도만으로 정책을 학습시키는 구조를 제안해 보상 캘리브레이션 문제를 회피했다. 그 결과 단일 사전학습된 진행도 스코어러를 여러 과제에 재사용할 수 있어 확장성과 실용성이 개선되었다.
왜 중요한가
비디오만으로 동작을 학습하면 수작업으로 보상 함수를 설계해야 하는 부담과 보상 해킹 위험을 줄일 수 있다. 이 논문은 시각-언어 모델을 서열 추정기로 학습해 프레임 순서 일치도만으로 정책을 학습시키는 구조를 제안해 보상 캘리브레이션 문제를 회피했다. 그 결과 단일 사전학습된 진행도 스코어러를 여러 과제에 재사용할 수 있어 확장성과 실용성이 개선되었다.
핵심 기여
프레임 서열을 학습하는 listwise VLM 진행도 스코어러 제안
전문가 비디오의 클립을 앵커-셰플 전략으로 구성하고 VLM을 listwise 방식으로 파인튜닝해 각 프레임의 진행도 순위를 출력하도록 학습시켰다. 이 학습은 GRPO 목표를 사용해 출력 토큰 정책을 통해 Spearman 순위상관 보상을 최대화하는 형태로 진행되었다. 학습 완료 후 스코어러는 고정(frozen)되어 온라인 정책 학습 단계에서만 입력으로 사용되었다.
Spearman 순위상관을 이용한 상한화된 스케일 불변 보상 설계
온라인 상호작용 시 슬라이딩 윈도우 내에서 스코어러가 예측한 프레임 순위와 해당 창의 실제 타임스탬프 순위의 Spearman ρ를 계산해 보상으로 사용했다. 이 보상은 항상 [-1,1]로 정규화되어 스케일·캘리브레이션 이슈를 제거하고 서로 다른 에피소드와 과제 간 보상 재사용을 가능하게 했다. 보상은 N 스텝마다 계산하고 L번 셔플 평균을 취해 분산과 비용을 조절했다.
단일 스코어러의 교차 과제 전이성 검증
하나의 VLM 기반 진행도 스코어러를 여러 레벨과 게임 영상으로 학습하거나 다양한 소스(YouTube, COIN, MetaWorld)로 학습한 뒤 미지의 레벨에서 평가해 전이 성능을 확인했다. 풀(pool) 학습이나 다양한 플레이스루를 섞은 학습이 개별 레벨 학습보다 더 강한 전이를 보였고 특히 단순 레벨로의 전이는 비대칭적으로 용이했다. 이 결과는 단일 스코어러가 도메인 일반성을 갖고 여러 제어 과제에 재사용될 수 있음을 시사했다.
비디오 기반 보상 학습 경쟁 기법 대비 실험적 우위
Catrap, Kirby, PointMaze, MetaWorld 같은 이산 및 연속 제어 벤치마크에서 Rank2Reward, VLM-RM 등 기존의 비디오 기반 보상 방법과 비교 평가를 수행했다. 테이블 결과에서 RTA는 다수의 레벨에서 우수한 성공률을 기록했고 연속 제어 과제에서도 Rank2Reward 대비 전반적으로 경쟁력 있는 성능을 보였다. 또한 RTA는 단일 스코어러로 여러 과제를 처리할 수 있어 per-task 재학습이 필요한 기법보다 확장성이 높았다.
핵심 아이디어 이해하기
학습 문제의 출발점은 영상 시퀀스에서 목표 진행도(progress)를 얻어 정책 학습에 쓰는 것이다. 기존 방식은 프레임에 절대적 스칼라 보상을 회귀하거나 엔드-투-엔드 방식으로 보상 모델을 학습했는데, 이때 시간 정보가 노출되면 단순히 '나중일수록 더 좋다'는 편법이 생겨 실제 의미 있는 진행도를 잡지 못했다. 따라서 시퀀스의 상대적인 서열을 학습 신호로 삼아 시간 인덱스 자체를 제거해야 진짜 시각적 진행 단서를 활용할 수 있다.
방법론
해결 원리는 두 단계로 이루어졌다. 첫 단계는 VLM을 리스트와이즈(listwise) 기준으로 미세조정해 섞인(shuffled) 클립 내에서 각 비앵커 프레임의 진행도 순위를 출력하도록 학습시키는 것이다. 학습 데이터는 시연 비디오를 일정 길이의 클립으로 자르고 첫 프레임을 앵커로 고정한 뒤 나머지를 임의로 섞어 구성했으며 이로써 시간 정보에 의존하는 쉬운 해법을 차단했다.
관련 Figure
다이어그램은 첫 단계에서 앵커 프레임을 고정하고 나머지 프레임을 셔플해 VLM이 순위를 예측하도록 학습하는 절차를 구조적으로 보여준다. 두 번째 단계는 고정된 스코어러를 사용해 L번 셔플로 얻은 순위와 실제 시간 인덱스 사이의 Spearman ρ를 구해 평균한 값을 주기적으로 정책의 보상으로 공급하는 흐름을 설명한다. 이 그림은 연구의 핵심 설계인 서열 기반 보상으로 보상 캘리브레이션 문제를 회피하는 원리를 직접 연결해 보강한다.
Rank-Then-Act의 전체 파이프라인을 단계별로 나타낸 다이어그램으로 Stage 1의 앵커-셔플 학습과 Stage 2의 슬라이딩 윈도우 보상 계산을 시각화하고 있다.
그래프는 작은 윈도우에서 지역적 일관성으로 인해 보상이 계속 증가하는 현상과 중간 윈도우에서 전역적 비진행성을 잘 반영하는 특성, 큰 윈도우에서 신호 희석이 발생하는 패턴을 수치적으로 보여준다. 이 결과는 슬라이딩 윈도우 길이 선택이 알고리즘 동작에 직접적인 영향을 주며 중간 범위에서 안정적인 행동 신호를 얻을 수 있다는 논문의 주장을 뒷받침한다. 따라서 실무 적용 시 윈도우 크기와 보상 주기 하이퍼파라미터 조정이 필수적임을 시사한다.
사이클형 영상에서 윈도우 길이별로 정규화 누적 보상을 비교해 윈도우 크기 민감도를 조사한 그래프이다.
주요 결과
메인 벤치마크에서 RTA는 Catrap Level 2에서 1.00 ± 0.00의 성공률을 달성했고 Level 4에서는 0.72 ± 0.35, Level 6에서는 0.32 ± 0.27, Kirby에서는 0.07 ± 0.09를 기록해 다수의 레벨에서 기존 기법을 능가했다. Cross-domain 실험에서는 YouTube, Full Catrap, MetaWorld 등 다양한 소스에서 학습한 스코어러가 별도 튜닝 없이도 의미 있는 보상 신호를 제공했으며 Table 2의 결과는 서로 다른 시각 도메인에서의 보상 재사용 가능성을 뒷받침했다. 연속 제어 실험에서는 PointMaze·UMaze·MetaWorld에서 Rank2Reward 대비 전반적으로 더 나은 또는 경쟁력 있는 학습 곡선을 보였고 GAIL 스타일 보상을 추가한 혼합 보상과 비교하는 실험에서 RTA의 순위 상관 보상이 유의미한 기여를 했음이 관찰되었다.
관련 Figure
히트맵은 같은 레벨 내(in-distribution)에서 높은 ρ를 기록하는 대각 성분과 소스에서 타겟으로의 전이가 비대칭적으로 나타남을 시각화한다. 특히 pooled 학습이나 다양한 게임 소스로 학습한 모델이 더 넓게 전이함을 숫자 분포로 확인할 수 있어 단일 스코어러 재사용 가능성을 정량적으로 뒷받침한다. 이 그림은 Stage 1에서의 학습 동학과 일반화 특성을 직접 보여준다.
진행도 스코어러의 교차 레벨 전이 성능을 소스-타겟 쌍으로 나타낸 히트맵으로 각 셀은 Spearman ρ를 표시하고 있다.
곡선은 RTA(순위 기반)와 Rank2Reward 등 다양한 기법의 훈련 중 성공률 변화를 보여주며 RTA가 초기 수렴 후 안정적으로 높은 성공률을 유지하는 경향이 관찰된다. 그래프의 음영은 시드 간 변동을 나타내며 RTA의 변동성과 평균적 우위를 함께 확인할 수 있어 실험적 유효성을 시각적으로 보강한다. 이 결과는 Stage 2에서 Spearman 기반 보상이 정책 학습을 안정화시키는 근거로 연결된다.
여러 방법의 성공률 변화곡선을 스텝에 따라 비교한 실험 그래프로 RTA 계열이 다른 기법과의 비교에서 추세 우위를 보이고 있다.
각 패널은 door-open, drawer-open, hammer 등 세부 과제에서 RTA와 비교 기법의 에피소드 리턴 경향을 보여준다. 일부 과제에서는 RTA가 Rank2Reward를 상회하는 성능을 보였고, 일부 과제에서는 GAIL 혼합 보상이 필요한 경우도 있어 방법의 강점과 한계를 분리해 시각적으로 제시하고 있다. 이 그림은 RTA가 다양한 연속 제어 작업에서 범용적으로 적용 가능한지 평가하는 데 핵심적이다.
MetaWorld 등 연속 제어 과제에서 에피소드 리턴을 과제별로 비교한 복수의 학습 곡선들을 한 화면에 배열한 도표이다.
기술 상세
전체 아키텍처는 두 단계로 구성되며 첫 단계는 VLM 기반의 진행도 스코어러 f_φ를 학습시키는 모듈이다. 입력으로 K프레임 시퀀스를 받되 첫 프레임을 고정 앵커로 사용하고 나머지 K−1 프레임을 무작위 섞어 VLM이 각 비앵커 프레임에 대해 진행도 순위를 출력하도록 설계했다. 출력은 엄격한 정규식으로 파싱해 K−1개의 순위 스칼라 벡터 p를 얻고, 이 벡터와 실제 타임스탬프 순위 q 사이의 Spearman ρ를 리스트와이즈 보상 R으로 사용해 GRPO 목표로 최적화했다.
한계점
논문에서 명시한 주요 한계는 학습 데이터의 다양성에 대한 민감성이다. 소스 비디오 분포가 편향되면 스코어러가 특정 레벨에 과적합해 다른 레벨로의 전이가 저해될 수 있다. 또한 윈도우 크기 선택에 따라 보상 신호의 민감도가 크게 달라지며 작은 창은 지역적 일관성에 과도하게 반응하고 큰 창은 신호 희석을 초래할 수 있다고 보고되었다.
실무 활용
실무 관점에서 RTA는 전문가 비디오만 확보하면 환경별 보상 엔지니어링 없이 정책을 학습할 수 있는 실용성을 제공한다. 단일으로 학습된 진행도 스코어러를 여러 과제에 재사용할 수 있어 데이터 수집·유지 비용을 줄일 수 있다. 다만 스코어러의 학습 데이터 범위와 품질이 성능을 좌우하므로 다양한 시각 도메인에서 대표성을 확보하는 과정이 필요하다.
- 현장에서 실제 로봇 작업 시 명확한 보상 신호를 정의하기 어려운 과제에서 전문가 조작 영상만으로 초기 정책을 학습하는 데 적용 가능하다. 이 경우 영상은 다양한 시점·조명·작업 스타일을 포함해 수집해야 스코어러의 일반화가 보장된다.
- 시뮬레이터 기반 레거시 게임이나 레거시 시뮬레이션에서 환경의 보상 API가 부정확하거나 제공되지 않을 때 복수 플레이스루 영상을 사용해 보상-프리 정책 학습을 수행할 수 있다. 스코어러는 한 번 학습해 여러 레벨에 재사용할 수 있어 비용 효율적이다.
- 데이터 효율을 중시하는 연구 환경에서 여러 과제를 가로지르는 단일 진행도 추정기를 사전학습한 뒤 downstream 과제에 빠르게 적응시키는 전이 학습 파이프라인의 구성 요소로 활용할 수 있다. 전이 성능은 소스 데이터의 다양성에 민감하므로 도메인 셋 선택이 중요하다.
코드 공개 여부: 공개
코드 저장소 보기키워드
용어 해설
- Ordinal Supervision
- — 서열 기반 감독은 영상 프레임의 상대적 시간적 순서를 학습 신호로 사용한다. 모델은 프레임들이 어떤 시간적 순서를 가지는지 예측하며 이 정보를 통해 절대적 보상 값 대신 순서 일치 정도를 학습 신호로 활용한다. 본 논문에서는 이 서열 정보를 Spearman 순위상관을 통해 보상으로 변환해 정책 학습에 사용한다.
- GRPO
- — GRPO는 텍스트 생성 과정을 정책으로 간주해 listwise 보상 신호를 최적화하는 방식이다. 출력 토큰 시퀀스에 대해 중요도 가중치와 그룹 단위 이점을 계산해 PPO 유사 클리핑 손실로 최적화한다. 본 논문은 VLM의 출력으로부터 얻은 순위 기반 Spearman 보상을 GRPO로 최대화해 프레임 순서 회복 능력을 학습시켰다.
- Spearman ρ
- — Spearman ρ는 두 벡터의 순위 간 피어슨 상관을 계산해 [-1,1]로 정규화된 일치도를 제공한다. 예측된 프레임 순위와 실제 타임스탬프 순위를 입력으로 받아 순서 일치도를 측정하며, 이 값이 보상 신호로 쓰이면 스케일에 무관한 학습 신호가 확보된다. 본 방법은 보상 캘리브레이션 없이 서로 다른 에피소드·과제 간 보상 재사용을 가능하게 한다.
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.