OmniTacTune: 시각 기반 정책에 촉각 잔류 보정을 적용한 정책-무관 실세계 강화학습

시각 기반 대규모 데이터로 학습된 로봇 정책은 작업 수준의 동작 계획을 잘 포착하지만 물리적 접촉에서 요구되는 힘과 접촉 기하학 정보가 부족해 삽입과 도구 사용 같은 접촉 풍부 작업에서 실패가 빈번하다. 촉각 센서는 이러한 로컬 상호작용 신호를 직접 제공하지만 촉각 데이터는 수집 비용이 크고 센서 간 일반화가 어렵기 때문에 시각 데이터 수준으로 확장하기 어렵다. OmniTacTune은 시각 정책을 보존한 채 촉각 신호만으로 실세계에서 효율적으로 보정을 학습하는 방법을 제시하여 적은 실환경 상호작용으로 접촉 실패를 대폭 줄이는 실용적 경로를 제시한다.

접촉 기반 조작에서 시각과 촉각은 역할 분담이 명확하다. 시각은 작업의 전역 구조와 서브골을 제공하여 어떤 객체를 어떻게 움직여야 하는지를 예측할 수 있지만 접촉 순간의 힘과 마찰, 국지 기하학 정보는 제공하지 못한다. 따라서 시각으로는 작업 전체를 크게 안내하고 촉각은 접촉 지점에서의 세부 보정을 담당하도록 역할을 분리하면 데이터 확장의 부담을 낮추면서도 실용적 성능을 얻을 수 있다. 기술적으로 이 논문은 사전학습된 시각 정책을 고정한 상태에서 촉각 신호만으로 델타 보정 행동을 예측하는 잔류 정책을 학습한다. 잔류 정책은 기저 정책의 단기 행동 덩어리와 키포인트 기반 서브골을 입력으로 받아 그에 더할 보정 동작을 출력하므로 정책 구조에 무관하게 동일한 인터페이스로 연결될 수 있다. 이 방식은 내부 표현을 공유할 필요를 줄여서 서로 다른 정책 아키텍처 간의 호환성을 확보한다. 실천 측면에서는 온라인 학습 효율을 위해 초기 데이터의 질과 critic 안정성이 핵심이므로 자율 롤아웃을 통한 워밍업을 도입한다. 워밍업 단계에서 촉각 인코더를 재학습하고 궤적 수준의 촉각 증강을 적용하면 촉각 표현의 도메인 시프트가 감소하고 critic의 초기 Q 추정이 안정화된다. 결과적으로 제한된 실세계 상호작용만으로도 접촉 관련 실패를 빠르게 감소시킬 수 있다.

데이터 수집 파이프라인은 인간 비디오 리타게팅과 VR 원격조작을 포함하여 시각적 데모를 확보하고 이를 키포인트와 객체 중심 flow로 변환한다. 이 flow는 기저 정책의 입력과 보상 설계에 사용되는 객체 수준의 밀집 신호를 제공하며 행동은 6D 델타 포즈의 시퀀스로 표현된다. 다양한 기저 정책으로는 Flow 기반 정책, Action Chunking Transformer, Diffusion Policy, π0.5 같은 모델들을 사용해 시각적 모션 프라이어를 확보한다. 핵심 학습 파이프라인은 두 단계로 구성된다. 첫 단계인 워밍업에서는 고정된 시각 정책을 자율 롤아웃시켜 재생 버퍼를 채우고 flow와 촉각 특징을 입력으로 받는 flow-tactile critic을 초기화한다. 이 단계에서 촉각 인코더는 critic 손실과 재구성 정규화 손실을 함께 최적화하며 접촉이 감지된 전이만으로 인코더를 갱신하여 표현의 특화와 안정화를 유도한다. 두 번째 단계인 온라인 잔류 학습에서는 기저 정책을 동결한 상태에서 잔류 정책 π^r을 학습해 최종 행동 a_t를 보정한다. 잔류 정책의 입력으로는 로봇 프로프리오셉션 q_t, flow 특징 z^f_t, 접촉 게이트 g_t를 거친 촉각 특징 g_t · z^τ_t, 기저 정책 행동 청크 a_{t:t+K}^b, 그리고 현재 기저 행동 a_t^b가 포함된다. 학습은 flow-tactile critic Q_η를 계속 최적화하며, 잔류 보정의 크기는 스케줄러 s_t로 제한하여 안전한 탐색을 보장한다. 보상 설계는 객체 중심의 생성된 flow 정보와 촉각 기반 접촉 보상을 결합한 정규화된 다중 감각 보상을 사용한다. 구체적으로 도달 보상, 그립 감지 보상, flow 추적 보상에 안전 페널티를 차감하는 형태로 정규화한다. 또한 데이터 효율을 위해 궤적별 촉각 증강을 적용하여 각 롤아웃으로부터 추가적인 접촉 가상 전이를 생성한다.

주요 실험은 xArm7과 GelSight Mini 촉각 센서를 사용한 네 개의 실세계 접촉 작업에서 진행되었다. 인간 흐름 기반 기저 정책의 초기 성공률이 작업별로 40%, 10%, 5%, 5%였으며 OmniTacTune은 각각 100%, 100%, 90%, 85%로 개선하여 평균 93.75%의 최종 성공률을 달성했다. 이 결과는 워밍업 단계로 촉각 인코더와 critic을 안정화하고 온라인 잔류 학습으로 세부 보정을 학습한 설계가 짧은 시간 안에 접촉 실패를 크게 줄였음을 의미한다. 비교 실험에서 PLD 변형들과 ViTAL 같은 대안적 방법들은 동일 시간 예산에서 더 느리거나 불안정한 개선을 보였고, 시각만으로 초기 critic을 초기화한 방법은 촉각 적응을 하지 못해 최종 성능이 낮았다. OmniTacTune은 다양한 기저 정책에 대해 15–50%의 초기 성공률을 75–100%로 향상시켰고 인간 데모 기반 정책이 특히 매끄러운 모션 프라이어가 되어 최종 성능이 높게 나타났다. 촉각 표현에 대한 실험에서 AnyTouch2와 저차원 마커 표현이 Peg-in-Hole과 Charger Insertion에서 동등하게 좋은 성능을 보였고 T3와 Sparsh는 동적 접촉이 많은 Charger Insertion에서 성능이 낮았다. 이 관찰은 사전학습 데이터의 특성이 실제 접촉 동적성과 맞지 않으면 촉각 인코더의 전이 성능이 떨어질 수 있음을 시사한다.

전체 아키텍처는 고정된 시각 기저 정책과 학습 대상인 잔류 촉각 정책, 그리고 flow와 촉각 입력을 함께 처리하는 flow-tactile critic으로 구성된다. 기저 정책은 다양한 아키텍처로 구현될 수 있으며 잔류 정책은 기저 정책 행동 덩어리 action chunk와 키포인트 기반 서브골을 입력으로 받아 델타 동작을 예측한다. flow는 키포인트의 3D 중심과 상대 변환을 포함하여 서브골 생성과 밀집 보상에 쓰인다. 잔류 행동 조합 수식은 a_t = a_t^b + s_t a_t^r 이다. 여기서 a_t는 최종 실행 행동이고 a_t^b는 고정된 기저 정책의 현재 행동이며 a_t^r는 잔류 정책이 예측한 보정 동작이다. s_t는 탐색 안정성을 위해 보정 크기를 조절하는 스케줄러이다. 계산 흐름은 기저 정책이 a_t^b를 생성한 뒤 잔류 정책이 현재 관측 q_t, flow 특징 z^f_t, 촉각 특징 g_t · z^τ_t, 그리고 기저 행동 청크 a_{t:t+K}^b를 입력으로 a_t^r를 산출하고 이에 스케일 s_t를 곱해 더하면 최종 a_t가 만들어진다. 예를 들어 기저 행동이 작은 삽입 방향의 델타로 a_t^b=(0,0,0.005,0,0,0)인 경우 잔류 보정이 a_t^r=(0,0,0.002,0,0,0)이고 s_t=0.5이면 최종 동작은 (0,0,0.006,0,0,0)가 되어 접촉 시 더 세밀한 전진이 발생한다. 보상 함수는 r_t = normalize(w_r r_t^{reach} + w_g r_t^{grasp} + w_f r_t^{flow}) - w_s r_t^{safety} 형태로 설계되어 객체 중심의 flow 보상과 촉각 기반 접촉 보상을 결합한다. 각 항의 의미는 도달 보상 r^{reach}가 엔드이펙터와 초기 3D 중심 간 거리의 정규화된 값이고 flow 보상 r^{flow}는 생성된 서브골과 관찰된 객체 변환의 노름 차이로 계산되며 그립 보상 r^{grasp}는 촉각 깊이 이미지의 평균이 임계치를 넘는지를 이진으로 판별한다. 입력-처리-출력 구조로 보면 엔드이펙터 위치와 키포인트 변환이 입력으로 들어오고 정규화와 서브골 도달 카운트 계산을 거쳐 각 시점의 밀집 보상 값이 산출되며 안전 임계치 초과 시 큰 음수 보상이 출력되어 리셋을 유도한다. 워밍업 단계의 촉각 인코더 적응은 critic 손실과 재구성 정규화 손실을 합친 ℒ_E = ℒ_Q + λ_rec ℒ_rec로 최적화된다. 여기서 ℒ_Q는 critic이 예측하는 Q값과 실제 누적 보상 간의 차이를 의미하고 ℒ_rec는 촉각 이미지 재구성 손실로서 과도한 표현 변화로 인한 편향을 억제한다. 또한 궤적 수준의 촉각 증강은 각 롤아웃에서 접촉 강도에 조건화된 일관된 촉각 이미지를 합성해 재생 버퍼에 추가함으로써 초기 데이터 다양성을 높이며 critic 초기화의 안정성에 기여한다.

논문은 워밍업과 온라인 학습으로 실세계 적응을 달성했지만 수동 리셋과 반복 접촉으로 인한 하드웨어 마모가 여전히 필요하다고 명시한다. GelSight와 같은 시각 기반 촉각 센서는 물리적 충격에 취약하여 장기간 반복 실험 시 센서 손상이 발생할 수 있다. 또한 현재 방식은 완전한 자동화가 아닌 환경 재설정과 인간 개입을 전제로 하므로 산업적 확장에는 추가적인 안전 장치와 자동 리셋 기법이 필요하다.