실행 전에 확인하기: 트리 탐색을 행동 평가로 증류해 동결 VLA 성능을 개선한 SVA

왜 중요한가

Vision-Language-Action 모델은 미리 학습된 범용성 때문에 유용하지만 단일 샷 실행에서 적절한 행동을 골라내지 못해 실패가 잦았다. 본 논문은 고품질 행동이 이미 생성 분포에 존재하지만 이를 식별할 평가기가 부족하다는 진단을 수치적 pass@k 실험으로 입증했다. 그 결과 시뮬레이션 기반 탐색에서 얻은 장기 결과를 경량 평가기로 압축하여 배포 시점에 후보를 재선별하면 모델 파라미터를 바꾸지 않고도 실용적 성능향상이 가능함이 확인되었다.

핵심 기여

평가 병목 식별과 진단적 pass@k 연구

동결 VLA에서 단일 샷 실패의 원인이 단지 생성 단점이 아니라 행동의 장기적 결과를 판단할 수 없는 평가 결핍임을 pass@k 실험으로 규명했다. 샘플 수를 늘리면 성공 확률이 pass@1에서 33%에서 pass@32에서 92%로 급증함을 보이며 잠재적 성공 행동이 출력 분포에 포함됨을 수치로 입증했다. 이 관찰은 파인튜닝 없이도 평가기만으로 성능을 개선할 여지가 크다는 근거가 된다.

SVA 프레임워크: Search, Value, Act의 분리적 설계

MCTS를 시뮬레이터에서 실행해 다양한 궤적과 그에 대응하는 경험적 리턴을 수집(검색), 수집한 데이터로 경량 Q-평가기를 LoRA 어댑터와 앙상블 값 헤드로 학습(가치), 배포 시 동결된 VLA가 제안한 N개 후보를 불확실성 정규화된 Q값으로 재선별해 실행(행동)하는 세 단계 구조를 도입했다. 이 구조는 백본을 고정해 일반화 능력을 보존하면서도 장기 결과를 고려한 행동 선택을 가능하게 한다.

테스트타임 스케일링의 실용성 입증과 비용-성능 이점

행동 후보 수 N을 늘리는 테스트타임 계산 확장이 실제 성공률을 꾸준히 끌어올리고, 경량 Q-평가기 덕분에 평가 비용이 상대적으로 작다는 점을 보여주었다. 구체적으로 9B VLA에 SVA를 적용한 경우가 27B 단일샷 모델보다 성공률이 7포인트 높으면서 추론 지연은 27% 더 낮다는 비교가 제시되어, 모델 크기 확장보다 테스트타임 평가 확장으로 얻는 비용효율이 유의미함이 확인되었다.

핵심 아이디어 이해하기

대형 VLA는 관찰에 대해 그럴듯한 행동을 생성하는 능력을 갖추고 있으나 행동의 장기적 결과를 평가하는 신호가 부족하다. 이 때문에 정책 분포 내에는 성공 행동이 포함되어도 단일 샷 선택으로는 이를 꾸준히 골라내기 어렵다. 논문의 핵심 발상은 생성과 평가를 분리해 탐색으로 생성 분포를 샘플링하고, 탐색에서 얻은 장기 보상 정보를 학습 가능한 함수로 압축하여 배포 시 신속히 행동을 재평가하는 것이다.

탐색 단계에서는 MCTS를 사용해 정책이 제안하는 행동들로 구성된 트리를 구조적으로 전개하고, 각 리프에서 정책 롤아웃을 통해 할인 누적 보상 G를 계산해 노드의 경험적 가치를 얻는다. 이 과정은 후보들 간의 장기적 차이를 명시적으로 드러내며 성공과 실패 궤적을 대조적으로 수집하는 효과가 있다. 수집된 (상태, 행동, 장기보상) 쌍은 Q-평가기의 학습 타깃이 되어, 학습된 Q는 시뮬레이터 접근 없이도 후보 행동의 기대 보상을 근사할 수 있다.

배포 시에는 동결된 VLA가 N개의 행동을 제안하고 학습된 Q-평가기가 각 후보의 평균 예측 μ와 불확실성 σ를 이용해 정규화된 점수를 계산해 최종 행동을 선택한다. 이 방식은 후보 수 증가에 따른 성공률 향상(pass@k와 유사한 이득)을 실제로 활용 가능하게 하고, 경량 평가기의 연산 비용이 작아 전체 추론 지연을 합리적 수준으로 유지한다. 결과적으로 생성 능력을 보존하면서 평가만으로도 정책 성능을 크게 끌어올리는 것이 가능해진다.

방법론

전체 접근은 세 단계로 구성되며 각 단계는 역할과 계산 예산을 분리한다. 첫 단계인 Search에서는 MCTS를 시뮬레이터에서 수행해 정책 분포를 구조적으로 탐색한다. 탐색 루프는 PUCT 규칙에 따라 선택-확장-롤아웃-백업을 반복하며, 각 확장 리프에서 정책을 D스텝까지 롤아웃해 할인 누적 보상 G를 계산하고 이 값을 경로의 엣지들에 대해 방문수와 평균 보상으로 갱신한다.

두 번째 단계인 Value에서는 MCTS로 얻은 (상태,행동,G) 데이터로 경량 Q-평가기를 학습시킨다. 평가기는 작은 VLM 백본 위에 LoRA 어댑터와 B개의 MLP 값 헤드를 얹은 구조를 사용하며 입력으로 명령어, 관측, 후보 행동을 결합해 특수 토큰의 히든 상태를 값 헤드에 전달한다. 학습 손실은 Smooth-L1으로 설정되어 오차가 작을 때는 제곱 오차에 가깝게, 클 때는 L1 형태로 안정적 학습이 이루어지도록 설계되었다.

세 번째 단계인 Act는 배포 시의 행동 선택 절차로 구성된다. 동결된 VLA가 N개의 후보 행동을 샘플링하면 각 후보의 경험적 우선도 p는 샘플 빈도로 추정된다. Q-평가기는 후보별로 앙상블 평균 μ와 표준편차 σ를 계산하고 μ에서 λ1·σ를 빼고 λ2·log p를 더하는 점수로 후보를 정렬해 행동을 선택한다. 이 점수계는 장기 예측(μ), 불확실성 회피(σ), 그리고 모델 우선도(p)를 동시에 반영해 최종 행동을 결정한다.

실행 비용 측면에서는 Q-평가기가 백본보다 훨씬 작도록 설계되어 평가 오버헤드는 작다. 생성 지연은 후보 수 N 증가에 따라 서브선형으로 증가하는 경향을 보였고 평가 지연은 최대 수 초 수준에 머물러 테스트타임 스케일링이 실용적임이 실험으로 확인되었다.

주요 결과

진단적 pass@k 실험에서 동결 VLA의 평균 성공률은 pass@1에서 33%였으나 pass@32에서는 92%로 증가해 생성 분포 내에 성공 행동이 포함되어 있음을 수치로 확인했다. 이 관찰은 평가기가 있다면 샘플링을 통해 성공을 훨씬 더 안정적으로 찾아낼 수 있다는 근거가 되었다. 난이도별로는 이미 쉬운 과제는 빠르게 포화되고, 기저 정책이 전혀 해내지 못하는 과제는 샘플 수 증가로도 제한적 개선만 보였으며 중간 난이도 과제에서 평가기의 효용이 가장 컸다.

SVA를 실제 벤치마크에 적용한 결과 EmbodiedBench의 EB-Habitat와 EB-Navigation에서 평균적으로 각각 +15.4, +13.2 포인트의 향상이 관찰되었다. 모델별로는 Qwen3.5-27B 대비 Qwen3.5-9B+SVA 조합이 best-of-4 상태에서 51.1%를 기록해 단일샷 27B(46.7%)보다 7포인트 우수하면서 추론 지연은 27% 낮았다는 비교가 제시되었다. 이 수치는 테스트타임 평가 확장이 모델 크기 확장보다 비용대비 효과적일 수 있음을 실험적으로 뒷받침한다.

조작 과제에서 π0+SVA는 SimplerEnv에서 평균 성공률 50.7%를 기록해 RoboMonkey 등 비교법을 상회했고, Stack Cubes와 Eggplant in Basket 같은 다중 단계 접촉 작업에서 특히 큰 이득을 보였다(예: Stack Cubes 63.9 vs 37.5). RoboTwin에서는 평균이 36.0%에서 43.5%로 상승했고 Turn Switch, Press Stapler, Click Bell 같은 다양한 조작 원시 동작에 걸쳐 개선이 분포되었다. 또한 구성요소 제거 실험에서 MCTS·Q-모델·다중 후보 중 어느 하나를 제거하면 성능이 유의하게 하락해 제안한 각 구성요소의 기여가 실험적으로 검증되었다.

기술 상세

전체 아키텍처는 동결된 VLA 정책(무거운 백본)과 경량 Q-평가기(작은 VLM 백본 + LoRA + 앙상블 값 헤드)로 분리된다. Q-평가기의 입력은 지시문, 시각/프로프리오셉션 관측, 후보 행동의 서술을 결합한 프롬프트이며 프롬프트 끝의 특수 토큰 에 해당하는 히든 상태를 값 헤드에 전달해 예측을 얻는다. 값 헤드는 B개의 독립 헤드로 구성되어 평균 μ와 표준편차 σ를 산출하고, σ는 불확실성 정규화 항으로 활용된다.

MCTS 구현은 PUCT 규칙을 채택해 선택 시 Q(s,a)와 P(s,a)·√n/(1+n) 형태의 탐색 보너스를 합산한다. 리프에서는 정책을 한 번만 평가해 N개의 후보를 생성하고 각 후보에 대해 시뮬레이터에서 최대 D 스텝까지 정책 롤아웃을 수행해 할인 누적 보상 G를 계산한다. 백업 단계에서는 각 엣지의 방문수를 1만큼 증가시키고 Q를 누적 평균으로 갱신해 이후 선택에 반영한다. 이 과정은 탐색 예산 하에서 높은 보상 경로들을 우선적으로 수집하는 목적을 가진다.

Q-모델 학습은 MCTS로 수집한 데이터의 타깃 Q(s,a)로 Smooth-L1 손실을 사용해 안정적으로 최적화한다. Smooth-L1의 동작 예시는 오차 ε가 0.5이면 손실이 0.5^2/2=0.125가 되고 ε가 2이면 손실이 |2|-0.5=1.5가 되어 큰 오차에 대해 선형 스케일로 변환되므로 이상치에 덜 민감하다. 학습 시에는 LoRA 어댑터와 값 헤드만 갱신하므로 전체 파라미터 업데이트 비용을 낮추는 동시에 백본의 일반화 능력을 보존한다.

배포 시 행동 선택은 후보의 샘플 빈도로 추정한 p와 앙상블 평균 μ, 표준편차 σ를 이용해 점수 μ - λ1·σ + λ2·log p를 계산해 이루어진다. 이 점수식은 기대 보상과 불확실성, 모델 우선도를 균형있게 반영하며 λ1, λ2는 실험에 따라 조정 가능한 하이퍼파라미터다.

한계점

논문 본문에서 명시된 제한 중 하나는 학습 데이터가 MCTS 기반 시뮬레이터 롤아웃에 의존하므로 리셋 가능하고 신뢰할 수 있는 시뮬레이터가 필요하다는 점이다. 또 탐색과 가치 학습이 분리되어 있어 탐색 오류나 시뮬레이터 편향이 Q-모델에 전파될 위험이 있으며 이로 인해 실제 물리 로봇으로의 전이에 도전이 남아 있다. 저자들은 본 연구가 주로 시뮬레이션 결과에 근거했음을 인정하고 실제 로봇 실험을 다음 단계로 우선적으로 진행할 필요가 있음을 명시했다.

실무 활용

SVA는 시뮬레이터에서의 탐색으로 얻은 장기 보상 신호를 경량 평가기로 압축해, 물리적 로봇에 배포할 때에도 동결된 VLA를 보완하는 방식으로 즉시 적용 가능하다. 배포 환경에서 후보 생성 예산 N을 조절해 성능과 지연을 트레이드오프하는 실무 전략을 제공하므로, 자원 제약에 따라 적절한 테스트타임 스케줄링을 설정할 수 있다.

현장 배포된 범용 VLA의 파인튜닝 없이 특정 작업군(긴 시계열 계획, 물체 조작)에 대해 신속한 성능 개선을 적용할 때
시뮬레이터 기반 데이터 확보가 가능하고 반복 리셋이 가능한 시나리오에서 MCTS로 수집한 대조적 궤적을 학습 데이터로 활용할 때
제한적 모델 크기의 VLA를 사용 중인 시스템에서 추론 지연과 비용을 감안해 모델 크기 확장 대신 테스트타임 후보 수를 늘려 성능을 개선할 때

코드 공개 여부: 미확인

키워드

Vision-Language-Action(VLA)Monte-Carlo Tree Search(MCTS)pass@k(패스@k)Q-value 모델(Q-value)LoRA(LoRA)Test-Time Scaling(테스트타임 스케일링)

용어 해설

패스@k(Pass@k): — 여러 번의 독립된 정책 샘플링 중 최소 하나가 성공할 확률을 추정하는 지표로, 출력을 여러 번 샘플링해 상위 성공 확률을 평가하여 모델의 잠재적 행동 분포에 존재하는 성공 사례를 정량화한다.
몬테카를로 트리 서치(MCTS): — 정책을 시뮬레이터에서 반복적으로 전개하여 각 분기별 누적 보상으로 노드 가치를 추정하는 탐색 기법으로, PUCT 같은 바이어스 규칙으로 우선순위를 조정하고 롤아웃 결과를 백업해 고보상 경로를 집중 탐색한다.
Q값(행동 가치)(Q-value): — 주어진 상태와 후보 행동이 장기적으로 얻을 것으로 기대되는 할인 누적 보상값으로, 본문에서는 MCTS로 수집한 실험적 수익을 학습 대상 타깃으로 하여 경로의 장기적 결과를 예측하는 예측기로 사용된다.
LoRA: — 대형 언어·비전 모델의 파라미터 전부를 갱신하지 않고 저순위 적응 행렬만 학습하는 기법으로, 본문에서는 경량 Q-평가기 학습 시 백본 고정 상태에서 효율적으로 파라미터를 조정하는 데 사용된다.
테스트타임 스케일링(Test-Time Scaling): — 배포 시점에 후보 행동 수를 늘려 계산을 확장하는 전략으로, 후보를 더 많이 생성한 뒤 학습된 평가기로 재점검해 높은 품질 행동을 선택함으로써 모델 크기 확장이 아닌 계산 할당으로 성능을 향상시키는 방법이다.

실행 전에 확인하기: 트리 탐색을 행동 평가로 증류해 동결 VLA 성능을 개선한 SVA

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 기사

로봇 데이터 한계를 표현 학습으로 넘는 VLAct

Remember‑R1으로 시각적 어텐션 지속화

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

관련 토론

댓글

관련 기사

로봇 데이터 한계를 표현 학습으로 넘는 VLAct

Remember‑R1으로 시각적 어텐션 지속화