OmniTacTune: 시각 기반 정책에 촉각 잔류 보정을 적용한 정책-무관 실세계 강화학습

왜 중요한가

시각 기반 대규모 데이터로 학습된 로봇 정책은 작업 수준의 동작 계획을 잘 포착하지만 물리적 접촉에서 요구되는 힘과 접촉 기하학 정보가 부족해 삽입과 도구 사용 같은 접촉 풍부 작업에서 실패가 빈번하다. 촉각 센서는 이러한 로컬 상호작용 신호를 직접 제공하지만 촉각 데이터는 수집 비용이 크고 센서 간 일반화가 어렵기 때문에 시각 데이터 수준으로 확장하기 어렵다. OmniTacTune은 시각 정책을 보존한 채 촉각 신호만으로 실세계에서 효율적으로 보정을 학습하는 방법을 제시하여 적은 실환경 상호작용으로 접촉 실패를 대폭 줄이는 실용적 경로를 제시한다.

핵심 기여

시각 정책 위의 잔류 촉각 보정으로 적응 문제 재정의

본 논문은 접촉 기반 조작에서 전체 정책을 재학습하지 않고 사전학습된 시각 정책 위에 잔류 촉각 보정만을 학습하는 문제로 재정의했다. 이 접근은 시각적 모션 프라이어를 보존하여 작업 수준 행동을 유지하면서 접촉 시 필요한 세부 보정만 학습하므로 샘플 효율을 높인다. 재정의 결과로서 다양한 시각 기반 정책 아키텍처에 동일한 인터페이스로 잔류 정책을 적용할 수 있다.

두 단계 실세계 RL 파이프라인 OmniTacTune 설계

OmniTacTune은 먼저 고정된 시각 정책의 자율 롤아웃으로 재생 버퍼와 critic, 촉각 인코더를 워밍업하고 다음으로 온라인 잔류 RL로 경량 촉각 정책을 학습하는 두 단계 구조를 사용한다. 워밍업 단계에서는 접촉 전이만 선별해 촉각 인코더를 재학습하고 궤적 수준의 촉각 증강을 적용하여 초기 표현과 Q 추정의 안정성을 확보한다. 이러한 설계는 랜덤 초기 critic로 인한 불안정한 탐색을 줄이고 온라인 학습의 수렴 속도를 높인다.

객체 중심 다중 감각 보상과 다양한 촉각 표현으로의 일반화 실험

실험적으로 객체 중심으로 생성된 flow 신호와 촉각 기반 접촉 보상을 결합한 다중 감각 보상이 샘플 효율과 안정성에 기여함이 확인되었다. OmniTacTune은 AnyTouch2, Sparsh, T3 같은 사전학습 촉각 인코더와 저차원 마커 표현 모두에서 촉각 적응을 달성하며 서로 다른 시각 기반 기저 정책에도 적용 가능함이 실험으로 입증되었다. 네 개의 실세계 작업에서 초기 성공률 5–40%를 85–100%로 끌어올린 결과는 해당 설계의 범용성과 효율성을 뒷받침한다.

핵심 아이디어 이해하기

접촉 기반 조작에서 시각과 촉각은 역할 분담이 명확하다. 시각은 작업의 전역 구조와 서브골을 제공하여 어떤 객체를 어떻게 움직여야 하는지를 예측할 수 있지만 접촉 순간의 힘과 마찰, 국지 기하학 정보는 제공하지 못한다. 따라서 시각으로는 작업 전체를 크게 안내하고 촉각은 접촉 지점에서의 세부 보정을 담당하도록 역할을 분리하면 데이터 확장의 부담을 낮추면서도 실용적 성능을 얻을 수 있다. 기술적으로 이 논문은 사전학습된 시각 정책을 고정한 상태에서 촉각 신호만으로 델타 보정 행동을 예측하는 잔류 정책을 학습한다. 잔류 정책은 기저 정책의 단기 행동 덩어리와 키포인트 기반 서브골을 입력으로 받아 그에 더할 보정 동작을 출력하므로 정책 구조에 무관하게 동일한 인터페이스로 연결될 수 있다. 이 방식은 내부 표현을 공유할 필요를 줄여서 서로 다른 정책 아키텍처 간의 호환성을 확보한다. 실천 측면에서는 온라인 학습 효율을 위해 초기 데이터의 질과 critic 안정성이 핵심이므로 자율 롤아웃을 통한 워밍업을 도입한다. 워밍업 단계에서 촉각 인코더를 재학습하고 궤적 수준의 촉각 증강을 적용하면 촉각 표현의 도메인 시프트가 감소하고 critic의 초기 Q 추정이 안정화된다. 결과적으로 제한된 실세계 상호작용만으로도 접촉 관련 실패를 빠르게 감소시킬 수 있다.

방법론

데이터 수집 파이프라인은 인간 비디오 리타게팅과 VR 원격조작을 포함하여 시각적 데모를 확보하고 이를 키포인트와 객체 중심 flow로 변환한다. 이 flow는 기저 정책의 입력과 보상 설계에 사용되는 객체 수준의 밀집 신호를 제공하며 행동은 6D 델타 포즈의 시퀀스로 표현된다. 다양한 기저 정책으로는 Flow 기반 정책, Action Chunking Transformer, Diffusion Policy, π0.5 같은 모델들을 사용해 시각적 모션 프라이어를 확보한다. 핵심 학습 파이프라인은 두 단계로 구성된다. 첫 단계인 워밍업에서는 고정된 시각 정책을 자율 롤아웃시켜 재생 버퍼를 채우고 flow와 촉각 특징을 입력으로 받는 flow-tactile critic을 초기화한다. 이 단계에서 촉각 인코더는 critic 손실과 재구성 정규화 손실을 함께 최적화하며 접촉이 감지된 전이만으로 인코더를 갱신하여 표현의 특화와 안정화를 유도한다. 두 번째 단계인 온라인 잔류 학습에서는 기저 정책을 동결한 상태에서 잔류 정책 π^r을 학습해 최종 행동 a_t를 보정한다. 잔류 정책의 입력으로는 로봇 프로프리오셉션 q_t, flow 특징 z^f_t, 접촉 게이트 g_t를 거친 촉각 특징 g_t · z^τ_t, 기저 정책 행동 청크 a_{t:t+K}^b, 그리고 현재 기저 행동 a_t^b가 포함된다. 학습은 flow-tactile critic Q_η를 계속 최적화하며, 잔류 보정의 크기는 스케줄러 s_t로 제한하여 안전한 탐색을 보장한다. 보상 설계는 객체 중심의 생성된 flow 정보와 촉각 기반 접촉 보상을 결합한 정규화된 다중 감각 보상을 사용한다. 구체적으로 도달 보상, 그립 감지 보상, flow 추적 보상에 안전 페널티를 차감하는 형태로 정규화한다. 또한 데이터 효율을 위해 궤적별 촉각 증강을 적용하여 각 롤아웃으로부터 추가적인 접촉 가상 전이를 생성한다.

주요 결과

주요 실험은 xArm7과 GelSight Mini 촉각 센서를 사용한 네 개의 실세계 접촉 작업에서 진행되었다. 인간 흐름 기반 기저 정책의 초기 성공률이 작업별로 40%, 10%, 5%, 5%였으며 OmniTacTune은 각각 100%, 100%, 90%, 85%로 개선하여 평균 93.75%의 최종 성공률을 달성했다. 이 결과는 워밍업 단계로 촉각 인코더와 critic을 안정화하고 온라인 잔류 학습으로 세부 보정을 학습한 설계가 짧은 시간 안에 접촉 실패를 크게 줄였음을 의미한다. 비교 실험에서 PLD 변형들과 ViTAL 같은 대안적 방법들은 동일 시간 예산에서 더 느리거나 불안정한 개선을 보였고, 시각만으로 초기 critic을 초기화한 방법은 촉각 적응을 하지 못해 최종 성능이 낮았다. OmniTacTune은 다양한 기저 정책에 대해 15–50%의 초기 성공률을 75–100%로 향상시켰고 인간 데모 기반 정책이 특히 매끄러운 모션 프라이어가 되어 최종 성능이 높게 나타났다. 촉각 표현에 대한 실험에서 AnyTouch2와 저차원 마커 표현이 Peg-in-Hole과 Charger Insertion에서 동등하게 좋은 성능을 보였고 T3와 Sparsh는 동적 접촉이 많은 Charger Insertion에서 성능이 낮았다. 이 관찰은 사전학습 데이터의 특성이 실제 접촉 동적성과 맞지 않으면 촉각 인코더의 전이 성능이 떨어질 수 있음을 시사한다.

기술 상세

전체 아키텍처는 고정된 시각 기저 정책과 학습 대상인 잔류 촉각 정책, 그리고 flow와 촉각 입력을 함께 처리하는 flow-tactile critic으로 구성된다. 기저 정책은 다양한 아키텍처로 구현될 수 있으며 잔류 정책은 기저 정책 행동 덩어리 action chunk와 키포인트 기반 서브골을 입력으로 받아 델타 동작을 예측한다. flow는 키포인트의 3D 중심과 상대 변환을 포함하여 서브골 생성과 밀집 보상에 쓰인다. 잔류 행동 조합 수식은 a_t = a_t^b + s_t a_t^r 이다. 여기서 a_t는 최종 실행 행동이고 a_t^b는 고정된 기저 정책의 현재 행동이며 a_t^r는 잔류 정책이 예측한 보정 동작이다. s_t는 탐색 안정성을 위해 보정 크기를 조절하는 스케줄러이다. 계산 흐름은 기저 정책이 a_t^b를 생성한 뒤 잔류 정책이 현재 관측 q_t, flow 특징 z^f_t, 촉각 특징 g_t · z^τ_t, 그리고 기저 행동 청크 a_{t:t+K}^b를 입력으로 a_t^r를 산출하고 이에 스케일 s_t를 곱해 더하면 최종 a_t가 만들어진다. 예를 들어 기저 행동이 작은 삽입 방향의 델타로 a_t^b=(0,0,0.005,0,0,0)인 경우 잔류 보정이 a_t^r=(0,0,0.002,0,0,0)이고 s_t=0.5이면 최종 동작은 (0,0,0.006,0,0,0)가 되어 접촉 시 더 세밀한 전진이 발생한다. 보상 함수는 r_t = normalize(w_r r_t^{reach} + w_g r_t^{grasp} + w_f r_t^{flow}) - w_s r_t^{safety} 형태로 설계되어 객체 중심의 flow 보상과 촉각 기반 접촉 보상을 결합한다. 각 항의 의미는 도달 보상 r^{reach}가 엔드이펙터와 초기 3D 중심 간 거리의 정규화된 값이고 flow 보상 r^{flow}는 생성된 서브골과 관찰된 객체 변환의 노름 차이로 계산되며 그립 보상 r^{grasp}는 촉각 깊이 이미지의 평균이 임계치를 넘는지를 이진으로 판별한다. 입력-처리-출력 구조로 보면 엔드이펙터 위치와 키포인트 변환이 입력으로 들어오고 정규화와 서브골 도달 카운트 계산을 거쳐 각 시점의 밀집 보상 값이 산출되며 안전 임계치 초과 시 큰 음수 보상이 출력되어 리셋을 유도한다. 워밍업 단계의 촉각 인코더 적응은 critic 손실과 재구성 정규화 손실을 합친 ℒ_E = ℒ_Q + λ_rec ℒ_rec로 최적화된다. 여기서 ℒ_Q는 critic이 예측하는 Q값과 실제 누적 보상 간의 차이를 의미하고 ℒ_rec는 촉각 이미지 재구성 손실로서 과도한 표현 변화로 인한 편향을 억제한다. 또한 궤적 수준의 촉각 증강은 각 롤아웃에서 접촉 강도에 조건화된 일관된 촉각 이미지를 합성해 재생 버퍼에 추가함으로써 초기 데이터 다양성을 높이며 critic 초기화의 안정성에 기여한다.

한계점

논문은 워밍업과 온라인 학습으로 실세계 적응을 달성했지만 수동 리셋과 반복 접촉으로 인한 하드웨어 마모가 여전히 필요하다고 명시한다. GelSight와 같은 시각 기반 촉각 센서는 물리적 충격에 취약하여 장기간 반복 실험 시 센서 손상이 발생할 수 있다. 또한 현재 방식은 완전한 자동화가 아닌 환경 재설정과 인간 개입을 전제로 하므로 산업적 확장에는 추가적인 안전 장치와 자동 리셋 기법이 필요하다.

실무 활용

OmniTacTune의 설계는 기존 시각 기반 정책을 보존하면서 촉각 보정을 실세계에서 빠르게 학습하도록 구성되어 실제 제조나 서비스 로봇의 접촉 풍부 작업에 적용 가능성이 높다. 워밍업 단계와 온라인 잔류 학습의 조합은 소량의 실환경 상호작용으로도 성능을 개선하므로 데이터 수집 비용을 줄이는 데 유리하다. 다만 실험은 사람의 개입과 수동 리셋이 필요한 환경에서 수행되었으므로 운영 자동화 측면은 추가 공학 작업이 필요하다.

반복적이지만 접촉 정밀도가 중요한 산업용 삽입 작업에서 시각 정책에 촉각 보정을 추가해 초기 셋업 이후 빠르게 안전한 수행으로 전환하는 시나리오
서비스 로봇이 도구를 사용하거나 작은 포트를 연결하는 등 동적 접촉이 요구되는 인간 환경에서 시각 프라이어를 활용해 현장 적응을 진행하는 시나리오
연구용 로봇 플랫폼에서 다양한 촉각 센서 백본을 시험해보면서 기저 시각 정책은 그대로 두고 센서 교체에 따라 촉각 인코더만 재적응시키는 시나리오

코드 공개 여부: 미확인

키워드

visuo-tactile policy(시각-촉각 정책)residual correction(잔류 보정)real-world RL(실세계 강화학습)tactile encoder(촉각 인코더)flow-guided policy(플로우 유도 정책)

용어 해설

잔류 정책(Residual Policy): — 사전학습된 기본 정책의 출력에 더해지는 보정 정책으로서, 기본 정책이 제시한 단기 동작 의도를 입력으로 받아 촉각 신호 기반의 보정을 예측한다. 이 방식은 전체 정책을 재학습하지 않고 접촉 상태에서의 세부 조정을 학습하도록 설계되어 샘플 효율을 높인다. 본문에서는 잔류 정책이 동작 덩어리 action chunk와 키포인트 목표를 입력으로 받아 델타 동작을 출력하는 구조로 사용된다.
촉각 인코더(Tactile Encoder): — 촉각 센서 이미지나 마커 움직임을 저차원 특징으로 변환하는 신경망 모듈로서, 사전학습된 AnyTouch2 등 다양한 백본을 활용하거나 경량 투영층만 미세조정하여 특정 작업으로 적응시킨다. 본문에서는 warm-start 단계에서 재구성 손실과 critic 손실을 함께 사용해 촉각 인코더를 안정적으로 적응시킨다. 촉각 인코더의 적응은 잔류 학습 안정성과 샘플 효율에 직접적인 영향을 미친다.
워밍업 시작(Warm-start): — 오프라인 시각 기반 정책을 고정한 상태에서 해당 정책의 자율 롤아웃을 통해 초기 재생 버퍼를 채우고 critic과 촉각 인코더를 초기화 또는 적응시키는 단계이다. 워밍업 단계는 랜덤 초기 critic이 초래하는 불안정한 탐색을 완화하고 촉각 표현의 도메인 차이를 줄여 이후 온라인 잔류 학습의 안정성과 효율성을 높인다. 본문에서는 자율 롤아웃에 대한 궤적 수준의 촉각 증강까지 포함해 초기 데이터 다양성을 향상시켰다.
플로우 유도 정책(Flow-guided Policy): — 영상으로부터 예측한 객체 수준의 흐름을 입력으로 받아 작업 수준의 동작 우선순위와 서브골을 생성하는 시각 정책 변형이다. 흐름은 키포인트 중심의 3D 중심 좌표와 상대 변환을 포함하여 정책과 보상에 객체 중심의 밀집 신호를 제공한다. 본문에서는 이 흐름을 이용해 기저 정책 행동과 잔류 정책에 공통된 작업 지시를 전달한다.

OmniTacTune: 시각 기반 정책에 촉각 잔류 보정을 적용한 정책-무관 실세계 강화학습

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 기사

로봇 데이터 한계를 표현 학습으로 넘는 VLAct

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

관련 토론

댓글

관련 기사

로봇 데이터 한계를 표현 학습으로 넘는 VLAct