시뮬레이션 기반 제어의 유산: Sim2Real의 역사와 한계

섹션별 상세

현대 로봇 공학의 Sim2Real 파이프라인은 1960년대 최적 제어 및 선형 이차 조절기(LQR) 이론에서 시작된 오래된 패러다임입니다. Arthur Bryson이 1962년 발명한 시뮬레이션 기반 경사 하강법은 현재 우리가 역전파(Backpropagation)라고 부르는 알고리즘의 모태가 되었습니다. 이는 미분 가능한 동역학 모델과 비용 함수가 있다면 시뮬레이션을 통해 정책을 점진적으로 개선할 수 있음을 보여줍니다.

시뮬레이션 모델의 충실도(Fidelity)가 반드시 실제 로봇의 성능 향상으로 이어지지는 않는다는 역설이 존재합니다. 자율 주행 연구 사례에 따르면 정밀한 동역학 모델보다 단순한 운동학 모델이 낮은 샘플링 속도에서도 대등한 성능을 내는 경우가 확인되었습니다. 이는 제어 가능성과 관측 가능성이 제한된 고차원 복잡계가 실제로는 단순한 소산 거동을 보일 수 있기 때문입니다.

폐루프(Closed-loop) 시스템에서는 로봇의 물리적 파라미터를 정확히 식별하는 것이 이론적으로 불가능합니다. 제어기(K)가 작동 중인 상태에서는 시스템 행렬(A, B)의 조합이 무수히 많아져 특정 하위 공간 내의 모델들을 구분할 수 없게 됩니다. 따라서 개발자는 시뮬레이션에 추측된 파라미터를 사용할 수밖에 없으며, 이것이 실제 환경에서 작동하기를 기대해야 하는 상황에 놓입니다.

파라미터 불확실성을 해결하기 위해 현대 머신러닝은 도메인 랜덤화(Domain Randomization)와 적대적 학습 기법을 주로 사용합니다. 이는 다양한 파라미터 분포에서 평균적인 성능을 극대화하거나 최악의 경우(Minimax)를 대비하는 방식으로, 과거의 이중 제어(Dual Control)나 강건 제어(Robust Control) 개념과 궤를 같이합니다. 하지만 마찰 계수와 같은 물리량의 적절한 분포를 설정하는 것은 여전히 해결하기 어려운 문제입니다.

기술

LQR
Backpropagation
Model Predictive Control
Domain Adaptation

활용 사례

로봇 보행 제어
자율 주행 시스템
시뮬레이션 기반 정책 학습

언급된 리소스

문서Feedback, Learning, and Adaptation (Lecture 9)