Learn2Fold: 월드 모델 플래닝을 통한 구조화된 종이접기 생성

종이접기는 단순한 시각적 모방을 넘어 엄격한 기하학적 제약과 물리적 타당성을 동시에 만족해야 하는 고난도 작업이다. 이 연구는 LLM의 추론 능력과 물리 시뮬레이션 기반의 월드 모델을 결합하여, 텍스트 설명만으로도 실제로 접을 수 있는 복잡한 3D 종이접기 과정을 생성하는 새로운 방법론을 확립했다.

기존 LLM은 텍스트 생성에는 능숙하지만, 종이접기처럼 한 번의 잘못된 접기가 전체 과정을 망치는 엄격한 물리 법칙을 이해하지 못한다. 이는 Attention 메커니즘이 데이터의 통계적 패턴은 파악하지만, 기하학적 제약 조건(Flat-foldability) 같은 하드 제약을 내재적으로 학습하기 어렵기 때문이다.

Learn2Fold는 이 문제를 해결하기 위해 '제안(Proposal)'과 '검증(Verification)'을 분리한다. 종이의 상태를 그래프(Crease Pattern Graph)로 표현하고, LLM은 이 그래프 위에서 수행할 수 있는 고수준 동작을 제안한다. 동시에 그래프 기반 월드 모델은 이 동작이 미래에 가져올 물리적 결과를 '상상'하여 타당성을 검토한다.

결과적으로 종이의 면과 선 사이의 복잡한 위상 변화를 수학적으로 추적함으로써, 단순한 시각적 흉내를 넘어 실제로 접을 수 있는 정교한 3D 구조물을 생성할 수 있게 된다. 이는 기초적인 임베딩 개념을 물리적 제약 조건과 연결하여 장기적인 추론을 가능하게 한 접근이다.

종이의 접기 패턴(CP)을 평면 그래프 G=(V, E)로 정의한다. 정점 좌표를 사전순으로 정렬하고 대칭 변환을 적용하는 정규화 과정을 통해 구조적 불변성을 확보한다. 상태 벡터는 Dihedral angle, progress ratio, crease type 등을 포함하여 종이의 물리적 상태를 상세히 기록한다.

Llama 기반의 경량 모델을 사용하여 접기 동작을 생성한다. 동작 공간을 이산적인 그래프 인덱스와 양자화된 연속 파라미터(접기 각도 등)로 통합한 토큰 공간으로 구성하여, LLM이 자동 회귀 방식으로 유효한 접기 명령을 생성하도록 학습시킨다.

그래프 기반 월드 모델은 잔차 역학(Residual Dynamics)을 학습한다. [현재 그래프 상태 s_t와 동작 a_t를 입력으로] → [그래프 신경망 연산을 수행해] → [상태 변화량 Δs와 제약 위반 확률 c를 출력하고] → [이 값은 다음 상태를 예측하고 동작의 안전성을 평가하는 데 사용된다].

최종적으로 MPC(Model Predictive Control) 루프를 통해 최적의 동작을 선택한다. [LLM이 제안한 여러 후보 동작들을 입력으로] → [Level-0 시뮬레이터의 하드 제약 필터링과 월드 모델의 점수 합산 연산을 수행해] → [가장 높은 점수를 받은 동작 a*를 선택하고] → [이를 통해 장기적인 목표 달성과 물리적 타당성을 동시에 확보한다].

Learn2Fold는 카테고리별 성공률(Cat-SR) 0.891을 기록하며, GPT-5.1(0.675) 및 Gemini(0.494) 등 최신 파운데이션 모델을 크게 앞질렀다. 특히 복잡한 모델(곤충, 학 등)에서 베이스라인 모델들이 조기에 실패하는 것과 달리 일관된 성공률을 보였다.

단계별 정확도(F1 Score)에서도 0.739를 달성하여 가장 강력한 베이스라인 대비 +47.3 포인트의 절대적인 성능 향상을 확인했다. 이는 월드 모델을 통한 명시적인 상태 추적과 제약 조건 검증이 장기 시퀀스 생성에 필수적임을 입증한다.

Ablation Study 결과, 월드 모델(WM)만 추가했을 때보다 Level-0 시뮬레이터와 결합했을 때 성공률이 22.2%에서 33.3%로 크게 향상되었다. 이는 하드 제약 필터링과 소프트 점수화의 상호보완적 역할이 중요함을 나타낸다.

전체 아키텍처는 LLM 기반의 Proposer, 그래프 기반의 World Model, 그리고 결정론적인 Level-0 Simulator로 구성된 뉴로-심볼릭 시스템이다. 종이의 위상 변화를 추적하기 위해 Dihedral angle과 Face layering 정보를 포함한 고차원 상태 표현을 사용한다.

학습 데이터는 76,000개의 트랜지션으로 구성되었으며, 전문가의 시연 데이터뿐만 아니라 의도적인 섭동(Perturbation)을 가한 실패 사례를 포함하여 월드 모델이 경계 조건에서의 물리 법칙을 학습하도록 설계했다. 학습은 NVIDIA RTX Pro 6000 GPU에서 약 30시간이 소요되었다.

기존의 BrickGPT와 같은 반응형 롤백 방식과 달리, Learn2Fold는 월드 모델을 통한 룩어헤드 플래닝을 수행함으로써 국소적인 최적해에 빠지지 않고 전체적인 접기 목표를 달성하는 능력이 탁월하다.

월드 모델이 로컬 액션의 안전성보다 글로벌 진행 상황을 우선시하는 경향이 있어, 가끔 국소적으로는 위험하지만 잠재적으로 유익한 동작을 선택하는 경우가 발생할 수 있다.