워밍업 시작
오프라인 시각 기반 정책을 고정한 상태에서 해당 정책의 자율 롤아웃을 통해 초기 재생 버퍼를 채우고 critic과 촉각 인코더를 초기화 또는 적응시키는 단계이다. 워밍업 단계는 랜덤 초기 critic이 초래하는 불안정한 탐색을 완화하고 촉각 표현의 도메인 차이를 줄여 이후 온라인 잔류 학습의 안정성과 효율성을 높인다. 본문에서는 자율 롤아웃에 대한 궤적 수준의 촉각 증강까지 포함해 초기 데이터 다양성을 향상시켰다.