도메인 연산: 환경 변화에서의 원샷 Vision-Language-Action 적응

대규모 VLA 모델은 환경 변화(카메라 시점, 로봇 구현체 등) 앞에서 학습된 동작을 그대로 수행하지 못하는 문제가 존재한다. 환경별로 각 작업에 대한 다수의 시연을 수집해 파인튜닝하는 방식은 비용이 매우 높아 실제 배포에서 한계가 있다. DART는 단 한 개의 타깃 시연만으로 도메인 정보를 분리·전이해 데이터 수집과 재학습 비용을 크게 낮추면서 다수 작업의 동작 능력을 유지한 채 적응을 가능하게 했다.

대규모로 학습된 VLA 모델은 여러 작업을 동시에 수행하는 능력을 지니지만 환경이 변하면 동일한 정책이 실패하는 사례가 빈번히 관찰된다. 이러한 실패에서 한 번의 파인튜닝 결과를 분석하면, 업데이트 벡터가 주로 작업(task)-특이 방향을 포함하고 도메인(domain)-특이 방향은 상대적으로 작게 섞여 있음을 확인할 수 있다. 이로 인해 단일 작업에만 맞춰진 원샷 파인튜닝은 다른 작업으로 일반화되지 못한다는 문제가 발생한다. 업데이트 벡터들이 갖는 구조적 특성은 선형 가법성(additive composability)을 띤다. 여러 작업과 도메인에서 얻은 업데이트 벡터를 평균해 만든 작업 프로토타입과 도메인 프로토타입을 합성하면 개별 (task,domain) 업데이트를 높은 정렬도로 재현할 수 있었다. 이 관찰은 작업과 도메인 방향이 서로 간섭 없이 분리된 서브스페이스에 주로 존재함을 시사하며, 가중치 수준에서 벡터 연산으로 도메인 변화만을 추출·전이할 수 있는 근거가 된다. 이를 바탕으로 DART는 '도메인 벡터 = target update − source update'라는 간단한 아날로지 연산을 핵심으로 삼는다. 직접 뺄셈은 소스의 아티팩트나 미세한 정렬 불일치로 인해 잡음을 포함할 위험이 있어, 좌측 특이벡터(U) 기반의 서브스페이스 필터링으로 소스에서 타깃과 정렬된 기저만 남긴 뒤, 레이어별 정렬도 γ^(l)에 따라 도메인 벡터를 스케일링한다. 최종적으로 베이스 모델 θ_0에 α·δ_tgt를 더하면 다수 작업 능력을 유지한 채 타깃 도메인으로의 원샷 적응이 가능해진다. 이 접근은 모델 내부 구조나 출력 토큰화 방식에 의존하지 않으므로 서로 다른 VLA 아키텍처와 구현체 전이에 모두 적용 가능하다. 실험에서 관찰된 바에 따르면 적절한 필터링과 스케일링은 α의 범위가 넓더라도 안정적 적응을 가능하게 하며, 추가 데이터 없이도 타깃 도메인 정보만을 효율적으로 전이할 수 있다.

전체 접근은 세 단계로 구성된다. 첫째, 베이스 정책 θ_0에서 동일 작업에 대해 소스 도메인과 타깃 도메인에서 각각 하나의 원샷 파인튜닝을 수행해 업데이트 벡터 Δ_m,src와 Δ_m,tgt를 얻는다. 둘째, 레이어별로 두 업데이트의 좌측 특이벡터(U)들을 SVD로 분해해 상호작용 행렬 C = U_tgt^T U_src를 계산하고, 각 소스 기저의 정렬 에너지 e_j = ||U_tgt^T u_src,j||_2^2를 구한다. 셋째, 에너지를 정렬도 γ^(l)에 기반해 동적 임계값으로 필터링하여 정렬된 소스 기저만 남긴 뒤 필터링된 소스 Δ~_m,src를 구성하고 δ~_tgt = γ^(l)·(Δ_m,tgt − Δ~_m,src)을 계산해 최종 도메인 벡터를 얻는다. 서브스페이스 필터링에서 기저 선택은 계층별로 정렬 에너지를 내림차순 정렬한 뒤 누적 에너지가 γ^(l)·Σ_j e_j에 도달하는 최소 r_l을 선택하여 수행된다. 이로써 소스의 고유 기저 중 타깃 서브스페이스와 실질적으로 중첩되는 성분만을 덧셈 대상에서 남긴다. 이후 레이어별 도메인 벡터들을 모아 δ~_tgt를 구성하고, 스칼라 계수 α를 곱해 θ* = θ_0 + α·δ~_tgt로 적응을 수행한다. 구현상 세부는 다음과 같다. SVD 기반 분해는 편차가 작은 레이어(예: 편향·정규화의 1차원 파라미터)는 제외하고 진행하며, 상위 r 선택을 위한 기준은 update 벡터의 특이값 에너지 분율을 이용한다. 논문 실험에서는 원샷 파인튜닝을 1,000 스텝 수행하고 α는 소규모 탐색을 통해 0.8로 고정해 전 모드에서 사용했다. 이 과정은 아키텍처 변경 없이 베이스 모델 가중치에 더하기 연산만 수행하므로 배포 복잡도를 낮춘다.

메인 벤치마크인 LIBERO의 novel viewpoints 평가에서 π0.5 기반으로 DART는 Small/Medium/Large를 평균한 성공률 79.1%를 기록했으며, 경쟁 기법들 대비 우위를 보였다. 구체적으로 One-shot FT는 평균 31.5%에 그친 반면 FLA는 74.3%, RETAIN은 69.6%였고 Zero-shot은 54.5%였다. 이 수치는 DART가 단일 시연에서 추출한 도메인 벡터를 통해 베이스의 다중 작업 능력을 보존하면서도 도메인 적응을 성공적으로 수행했음을 의미한다. 복합 시각 교란(View, View+Noise, View+Noise+Light) 실험에서도 DART는 평균 75.0%의 성공률을 보여 FLA(71.5%)와 RETAIN(68.7%)보다 높은 성능을 유지했다. 아키텍처 이식성 검사에서 π0-FAST에도 적용한 결과 평균 79.4%로 유사한 이득이 관찰되어 방법의 일반성을 뒷받침했다. 교차 구현체 전이(MimicGen)에서는 Panda→UR5e 전이로 DART가 평균 성공률 69.4%를 달성해 Zero-shot(62.0%)과 One-shot FT보다 높은 진행률과 성공률을 기록했다. 실세계 UR10e 실험에서는 하나의 Stack Cube 시연만으로 다섯 개 작업의 평균 성공률이 81.7%에 달했고, 일부 세부 작업에서는 100% 성공률을 달성해 단일 시연 기반 적응의 실효성을 입증했다. 구성 요소 분석에서 서브스페이스 필터링과 스케일링은 각각 성능 개선을 일으켰고, 두 요소를 모두 적용한 최종 DART가 가장 높은 평균 성공률(79.1%)을 보였다. 또한 여러 도메인 벡터를 병합한 단일 벡터로도 세 개의 뷰포인트 도메인에 적응 가능한 결과가 관찰되어 도메인 벡터의 합성 가능성이 확인되었다.

전체 아키텍처 변경 없이 베이스 정책 θ_0의 가중치에 도메인 벡터를 더하는 접근이다. 각 레이어 l에서의 업데이트 벡터 Δ^(l){m,tgt}=θ^{(l)}{m,tgt}−θ^{(l)}0와 Δ^(l){m,src}=θ^{(l)}{m,src}−θ^{(l)}0를 계산하고 레이어별 SVD Δ = UΣV^T로 분해해 좌측 특이벡터 U를 취급한다. 서브스페이스 정렬도 γ^(l)(Δ_i,Δ_j)=||U_j U_j^T Δ_i||F / ||Δ_i||F를 통해 레이어별로 두 업데이트의 표현 중복 비율을 수치화한다. 서브스페이스 필터링은 interaction matrix C^{(l)} = U^{(l)T}{tgt} U^{(l)}{src}를 계산하고 각 소스 기저의 에너지 e_j^{(l)} = ||C^{(l)}{:,j}||2^2를 구해 정렬도가 높은 기저만 유지한다. 기저 선택은 내림차순 정렬된 에너지의 누적합이 γ^{(l)}·Σ_j e_j^{(l)}에 도달할 때까지의 r_l를 사용해 수행되며 필터링된 소스 기저로 Δ~^{(l)}{m,src}를 복원한다. 이후 레이어별 도메인 벡터는 δ~^{(l)}{tgt} = γ^{(l)}·(Δ^{(l)}{m,tgt} − Δ~^{(l)}{m,src})로 계산되어 전체 δ~_{tgt}를 구성한다. 수학적 파라미터 선택 규칙으로는 SVD에서 상위 r를 정할 때 특이값 σ_i의 제곱 에너지를 이용해 잔여 에너지 비율이 0.05^2 이하가 되는 최소 r를 취하는 방식을 병행한다. 학습상 세부로 원문 실험에서는 각 원샷 파인튜닝을 1,000 스텝 실행했고 α는 소규모 탐색(10 롤아웃)을 통해 0.8로 설정해 모든 실험에 일괄 적용했다. 평가 지표는 작업당 50 롤아웃(시뮬레이션) 또는 12 롤아웃(실세계)으로 평균 성공률을 보고했다.

DART는 심한 도메인 변화(예: Large viewpoint) 하에서는 성능이 저하되는 경향이 관찰되며 이는 모든 원샷 방법이 공유하는 한계이다. 스칼라 계수 α는 소규모 탐색으로 설정해야 하며 완전한 하이퍼파라미터 프리 방식은 아직 제시되지 않았다. 도메인 벡터 추출의 안정성 향상이나 계층별 적응 강도 자동화 등은 향후 연구 과제로 남아 있다.