물리 시뮬레이터를 활용한 강화학습으로 물리 올림피아드 문제 해결

인터넷상의 물리 데이터 부족 문제를 해결하기 위해 물리 시뮬레이터를 데이터 생성기로 활용하는 Sim2Reason 프레임워크를 제안한다. 시뮬레이션된 물리 현상을 텍스트 기반의 추론 문제로 변환하여 학습함으로써, 실제 세계의 복잡한 물리 문제를 해결하는 능력을 획기적으로 높일 수 있음을 증명했다.

기존 LLM의 추론 능력 향상은 주로 인터넷에 풍부한 수학 데이터에 의존해왔다. 하지만 물리와 같은 과학 분야는 단계별 추론 과정이 포함된 텍스트 데이터가 매우 부족하여, 모델이 물리 법칙을 깊이 있게 이해하기보다는 패턴 매칭에 그치는 한계가 있었다. 본 연구는 물리 시뮬레이터가 물리 법칙을 실행 가능한 코드로 인코딩하고 있다는 점에 착안하여, 이를 무한한 데이터 소스로 전환하고자 했다.

핵심 원리는 시뮬레이션 내부의 수치적 상태 변화를 인간의 언어로 번역하는 것이다. 시뮬레이터 내에서 물체가 충돌하고 가속되는 모든 과정은 미분 방정식으로 계산되는데, Sim2Reason은 이 수치적 궤적을 '질량 m인 물체가 v의 속도로 이동 중'과 같은 텍스트 묘사와 연결한다. 이후 특정 시점의 속도나 질량을 묻는 문제를 생성하고, 시뮬레이터의 계산 결과값을 정답(Ground Truth)으로 삼아 모델을 학습시킨다.

이 과정에서 단순한 정답 맞추기를 넘어, 모델이 물리적 인과관계를 추론하도록 'Shortcut' 문제를 필터링한다. 예를 들어 특정 물체를 제거해도 정답이 변하지 않는 문제는 물리적 상호작용을 이해하는 데 도움이 되지 않으므로 제외한다. 결과적으로 모델은 시뮬레이션의 물리 엔진이 작동하는 논리 구조를 언어적 추론 단계로 내재화하게 되며, 이는 실제 세계의 물리 문제를 풀 때 필요한 다단계 수치 계산 및 전략 수립 능력으로 이어진다.

데이터 생성 파이프라인은 Scene Generation, Physics Simulation, QA Pair Generation, Data Filtration의 4단계로 구성된다. Scene Generation 단계에서는 DSL을 사용하여 질량, 마찰 계수, 연결 방식 등을 무작위로 조합한 물리 장면을 설계한다. 이때 Body, Entity, Scene의 세 단계 추상화를 통해 물리적으로 유효한 연결만을 허용한다.

Physics Simulation 단계에서는 MuJoCo 엔진을 사용하여 설계된 장면의 동역학을 계산한다. 가속도(a)의 슬라이딩 윈도우 평균과 표준편차를 비교하여 비정상적인 튀는 현상이 발생하는 구간을 감지하고, 안정적인 데이터만을 추출하기 위해 타임스텝을 프루닝(Pruning)한다. [입력: 장면 구성 요소 → 연산: 미분 방정식 수치 적분 → 출력: 시간별 위치, 속도, 힘 데이터]

QA Pair Generation에서는 수치형(Numeric), 역추론(Reverse), 기호형(Symbolic)의 세 가지 모드로 질문을 생성한다. 특히 Shortcut Filtering을 통해 특정 개체를 제거하거나 관절을 고정했을 때 정답이 유지되는 문제를 제거함으로써, 모델이 복잡한 다체 상호작용을 반드시 고려하도록 강제한다. 마지막으로 GSPO(Group Sequence Policy Optimization) 알고리즘을 사용해 모델의 최종 답변이 시뮬레이션 값의 5% 오차 범위 내에 들면 보상을 주는 방식으로 강화학습을 진행한다.

Qwen2.5-32B 모델을 Sim2Reason 데이터로 학습시킨 결과, IPhO Mechanics 벤치마크에서 기존 19.8%에서 25.2%로 5.4%p 성능이 향상되었다. 특히 인도 대입 시험인 JEEBench에서는 34.38%에서 52.28%로 17.9%p라는 비약적인 상승을 기록했다. 이는 모델이 시뮬레이션의 특정 수치를 외운 것이 아니라 일반적인 물리 추론 능력을 습득했음을 시사한다.

Ablation Study 결과, 데이터 필터링이 성능 향상에 결정적인 역할을 했음이 확인되었다. 필터링 없이 학습했을 때보다 필터링된 데이터를 사용했을 때 IPhO 성능이 약 6%p 더 높았다. 또한 수치형 질문으로 학습하는 것이 역추론이나 기호형 질문보다 실제 벤치마크로의 전이 효과가 가장 뛰어난 것으로 나타났다.

모델 크기에 따른 분석에서는 3B부터 32B까지 모든 규모에서 일관된 성능 향상이 관찰되었다. 특히 Qwen3-30B와 같은 강력한 베이스 모델에서도 IPhO 성능이 4.4%p 향상되어, 대규모 모델의 추론 한계를 돌파하는 데 시뮬레이션 데이터가 유효함을 입증했다.

Sim2Reason은 RLVR(Reinforcement Learning from Verifiable Rewards)을 물리 도메인에 성공적으로 이식했다. 기존 RLVR이 수학이나 코드처럼 정답이 명확한 분야에 국한되었던 것과 달리, 시뮬레이터의 수치적 출력을 정답으로 활용해 연속적인 물리 현상에 대해서도 검증 가능한 보상 체계를 구축했다.

아키텍처 측면에서는 DSL을 통한 추상화가 핵심이다. MuJoCo의 로우 레벨 XML을 직접 생성하는 대신, 물리적 의미가 담긴 DSL 엔티티를 조합함으로써 LLM이 이해하기 쉬운 텍스트 묘사와 시뮬레이션 실행 코드를 일치시켰다. 이는 모델이 물리적 제약 조건을 수식으로 옮기는 과정에서 발생하는 오류를 줄이는 데 기여한다.

학습 알고리즘으로는 GSPO를 채택하여 그룹 내 상대적 보상을 계산함으로써 학습의 안정성을 높였다. 또한 DAPO 스타일의 동적 샘플링을 도입해 보상이 희소한(Sparse) 상황에서도 유익한 샘플을 지속적으로 공급하여 학습 효율을 극대화했다. 이는 모델이 복잡한 다단계 추론 과정에서 길을 잃지 않고 정답에 도달하는 경로를 찾도록 돕는다.

현재 Sim2Reason은 고전 역학 분야에 집중되어 있으며, 전자기학이나 열역학 등 다른 물리 분과로의 확장은 아직 초기 단계이다. 또한 시뮬레이터 자체의 수치적 근사 오차로 인해 아주 정밀한 물리 현상에 대해서는 5%의 오차 허용 범위가 학습 신호를 흐릴 수 있는 가능성이 존재한다.