실행 전에 확인하기: 트리 탐색을 행동 평가로 증류해 동결 VLA 성능을 개선한 SVA

Vision-Language-Action 모델은 미리 학습된 범용성 때문에 유용하지만 단일 샷 실행에서 적절한 행동을 골라내지 못해 실패가 잦았다. 본 논문은 고품질 행동이 이미 생성 분포에 존재하지만 이를 식별할 평가기가 부족하다는 진단을 수치적 pass@k 실험으로 입증했다. 그 결과 시뮬레이션 기반 탐색에서 얻은 장기 결과를 경량 평가기로 압축하여 배포 시점에 후보를 재선별하면 모델 파라미터를 바꾸지 않고도 실용적 성능향상이 가능함이 확인되었다.

대형 VLA는 관찰에 대해 그럴듯한 행동을 생성하는 능력을 갖추고 있으나 행동의 장기적 결과를 평가하는 신호가 부족하다. 이 때문에 정책 분포 내에는 성공 행동이 포함되어도 단일 샷 선택으로는 이를 꾸준히 골라내기 어렵다. 논문의 핵심 발상은 생성과 평가를 분리해 탐색으로 생성 분포를 샘플링하고, 탐색에서 얻은 장기 보상 정보를 학습 가능한 함수로 압축하여 배포 시 신속히 행동을 재평가하는 것이다.

탐색 단계에서는 MCTS를 사용해 정책이 제안하는 행동들로 구성된 트리를 구조적으로 전개하고, 각 리프에서 정책 롤아웃을 통해 할인 누적 보상 G를 계산해 노드의 경험적 가치를 얻는다. 이 과정은 후보들 간의 장기적 차이를 명시적으로 드러내며 성공과 실패 궤적을 대조적으로 수집하는 효과가 있다. 수집된 (상태, 행동, 장기보상) 쌍은 Q-평가기의 학습 타깃이 되어, 학습된 Q는 시뮬레이터 접근 없이도 후보 행동의 기대 보상을 근사할 수 있다.

배포 시에는 동결된 VLA가 N개의 행동을 제안하고 학습된 Q-평가기가 각 후보의 평균 예측 μ와 불확실성 σ를 이용해 정규화된 점수를 계산해 최종 행동을 선택한다. 이 방식은 후보 수 증가에 따른 성공률 향상(pass@k와 유사한 이득)을 실제로 활용 가능하게 하고, 경량 평가기의 연산 비용이 작아 전체 추론 지연을 합리적 수준으로 유지한다. 결과적으로 생성 능력을 보존하면서 평가만으로도 정책 성능을 크게 끌어올리는 것이 가능해진다.

전체 접근은 세 단계로 구성되며 각 단계는 역할과 계산 예산을 분리한다. 첫 단계인 Search에서는 MCTS를 시뮬레이터에서 수행해 정책 분포를 구조적으로 탐색한다. 탐색 루프는 PUCT 규칙에 따라 선택-확장-롤아웃-백업을 반복하며, 각 확장 리프에서 정책을 D스텝까지 롤아웃해 할인 누적 보상 G를 계산하고 이 값을 경로의 엣지들에 대해 방문수와 평균 보상으로 갱신한다.

두 번째 단계인 Value에서는 MCTS로 얻은 (상태,행동,G) 데이터로 경량 Q-평가기를 학습시킨다. 평가기는 작은 VLM 백본 위에 LoRA 어댑터와 B개의 MLP 값 헤드를 얹은 구조를 사용하며 입력으로 명령어, 관측, 후보 행동을 결합해 특수 토큰의 히든 상태를 값 헤드에 전달한다. 학습 손실은 Smooth-L1으로 설정되어 오차가 작을 때는 제곱 오차에 가깝게, 클 때는 L1 형태로 안정적 학습이 이루어지도록 설계되었다.

세 번째 단계인 Act는 배포 시의 행동 선택 절차로 구성된다. 동결된 VLA가 N개의 후보 행동을 샘플링하면 각 후보의 경험적 우선도 p는 샘플 빈도로 추정된다. Q-평가기는 후보별로 앙상블 평균 μ와 표준편차 σ를 계산하고 μ에서 λ1·σ를 빼고 λ2·log p를 더하는 점수로 후보를 정렬해 행동을 선택한다. 이 점수계는 장기 예측(μ), 불확실성 회피(σ), 그리고 모델 우선도(p)를 동시에 반영해 최종 행동을 결정한다.

실행 비용 측면에서는 Q-평가기가 백본보다 훨씬 작도록 설계되어 평가 오버헤드는 작다. 생성 지연은 후보 수 N 증가에 따라 서브선형으로 증가하는 경향을 보였고 평가 지연은 최대 수 초 수준에 머물러 테스트타임 스케일링이 실용적임이 실험으로 확인되었다.

진단적 pass@k 실험에서 동결 VLA의 평균 성공률은 pass@1에서 33%였으나 pass@32에서는 92%로 증가해 생성 분포 내에 성공 행동이 포함되어 있음을 수치로 확인했다. 이 관찰은 평가기가 있다면 샘플링을 통해 성공을 훨씬 더 안정적으로 찾아낼 수 있다는 근거가 되었다. 난이도별로는 이미 쉬운 과제는 빠르게 포화되고, 기저 정책이 전혀 해내지 못하는 과제는 샘플 수 증가로도 제한적 개선만 보였으며 중간 난이도 과제에서 평가기의 효용이 가장 컸다.

SVA를 실제 벤치마크에 적용한 결과 EmbodiedBench의 EB-Habitat와 EB-Navigation에서 평균적으로 각각 +15.4, +13.2 포인트의 향상이 관찰되었다. 모델별로는 Qwen3.5-27B 대비 Qwen3.5-9B+SVA 조합이 best-of-4 상태에서 51.1%를 기록해 단일샷 27B(46.7%)보다 7포인트 우수하면서 추론 지연은 27% 낮았다는 비교가 제시되었다. 이 수치는 테스트타임 평가 확장이 모델 크기 확장보다 비용대비 효과적일 수 있음을 실험적으로 뒷받침한다.

조작 과제에서 π0+SVA는 SimplerEnv에서 평균 성공률 50.7%를 기록해 RoboMonkey 등 비교법을 상회했고, Stack Cubes와 Eggplant in Basket 같은 다중 단계 접촉 작업에서 특히 큰 이득을 보였다(예: Stack Cubes 63.9 vs 37.5). RoboTwin에서는 평균이 36.0%에서 43.5%로 상승했고 Turn Switch, Press Stapler, Click Bell 같은 다양한 조작 원시 동작에 걸쳐 개선이 분포되었다. 또한 구성요소 제거 실험에서 MCTS·Q-모델·다중 후보 중 어느 하나를 제거하면 성능이 유의하게 하락해 제안한 각 구성요소의 기여가 실험적으로 검증되었다.

전체 아키텍처는 동결된 VLA 정책(무거운 백본)과 경량 Q-평가기(작은 VLM 백본 + LoRA + 앙상블 값 헤드)로 분리된다. Q-평가기의 입력은 지시문, 시각/프로프리오셉션 관측, 후보 행동의 서술을 결합한 프롬프트이며 프롬프트 끝의 특수 토큰 에 해당하는 히든 상태를 값 헤드에 전달해 예측을 얻는다. 값 헤드는 B개의 독립 헤드로 구성되어 평균 μ와 표준편차 σ를 산출하고, σ는 불확실성 정규화 항으로 활용된다.

MCTS 구현은 PUCT 규칙을 채택해 선택 시 Q(s,a)와 P(s,a)·√n/(1+n) 형태의 탐색 보너스를 합산한다. 리프에서는 정책을 한 번만 평가해 N개의 후보를 생성하고 각 후보에 대해 시뮬레이터에서 최대 D 스텝까지 정책 롤아웃을 수행해 할인 누적 보상 G를 계산한다. 백업 단계에서는 각 엣지의 방문수를 1만큼 증가시키고 Q를 누적 평균으로 갱신해 이후 선택에 반영한다. 이 과정은 탐색 예산 하에서 높은 보상 경로들을 우선적으로 수집하는 목적을 가진다.

Q-모델 학습은 MCTS로 수집한 데이터의 타깃 Q(s,a)로 Smooth-L1 손실을 사용해 안정적으로 최적화한다. Smooth-L1의 동작 예시는 오차 ε가 0.5이면 손실이 0.5^2/2=0.125가 되고 ε가 2이면 손실이 |2|-0.5=1.5가 되어 큰 오차에 대해 선형 스케일로 변환되므로 이상치에 덜 민감하다. 학습 시에는 LoRA 어댑터와 값 헤드만 갱신하므로 전체 파라미터 업데이트 비용을 낮추는 동시에 백본의 일반화 능력을 보존한다.

배포 시 행동 선택은 후보의 샘플 빈도로 추정한 p와 앙상블 평균 μ, 표준편차 σ를 이용해 점수 μ - λ1·σ + λ2·log p를 계산해 이루어진다. 이 점수식은 기대 보상과 불확실성, 모델 우선도를 균형있게 반영하며 λ1, λ2는 실험에 따라 조정 가능한 하이퍼파라미터다.

논문 본문에서 명시된 제한 중 하나는 학습 데이터가 MCTS 기반 시뮬레이터 롤아웃에 의존하므로 리셋 가능하고 신뢰할 수 있는 시뮬레이터가 필요하다는 점이다. 또 탐색과 가치 학습이 분리되어 있어 탐색 오류나 시뮬레이터 편향이 Q-모델에 전파될 위험이 있으며 이로 인해 실제 물리 로봇으로의 전이에 도전이 남아 있다. 저자들은 본 연구가 주로 시뮬레이션 결과에 근거했음을 인정하고 실제 로봇 실험을 다음 단계로 우선적으로 진행할 필요가 있음을 명시했다.