월드 모델 보존에도 행동이 붕괴하는 연속 강화학습 문제와 상상 기반 감독적 복구법

게시자는 실험 프로토콜을 사전등록하고 코드와 논문을 공개했으며, 이 점이 결과의 신뢰도를 높였다. 커뮤니티는 월드 모델 보존과 실제 행동 유지 사이의 괴리를 실험적으로 드러낸 점에 관심을 보였고, 특히 감독적 자기모방이 상상 기반 학습에서 유용할 수 있다는 점에 주목했다. 동시에 소규모 시드 수와 MiniGrid 한정 실험이라는 제약 때문에 결과의 일반화 가능성에 대해 신중한 반응이 지배적이었다.

• 월드 모델을 고정한 채 동일한 상상 데이터를 여러 학습 신호로 비교하면 정책 붕괴의 원인이 학습 채널에 있는지 직접 검증할 수 있다.
• 상상 롤아웃을 그저 리턴으로만 순위화하지 말고 오프라인 진단 절차를 통해 낙관적·비현실적 경로를 먼저 포착해 제거하거나 재점수화할 것을 권한다.
• 작업 재현성 확보를 위해 실험 프로토콜과 합격 기준을 사전등록하고 결과와 코드를 공개하면 결과 해석과 후속 검증이 수월해진다.

World Model

— 에이전트가 환경 역학을 예측하도록 학습한 모델로서 상태와 행동을 입력으로 다음 상태와 예측 보상을 생성한다. 이 글에서는 상상된 롤아웃에서 정책 학습과 행동 재현을 위해 고정되거나 재학습되는 구성요소로 사용되며, 월드 모델의 보존이 행동 유지에 미치는 영향을 중심 실험 변수로 삼는다.

Generative Replay

— 과거 경험을 저장하지 않고 학습된 생성 모델로부터 과거 데이터 유사 샘플을 합성해 재학습에 쓰는 기법이다. 본문에서는 전체 데이터를 보관하는 never-clear replay와 대비되는 지속학습 보존 전략 맥락에서 언급되며, 모델 파라미터 정규화와 함께 월드 모델 보호 수단으로 취급된다.

RL-in-Imaginition

— 학습된 월드 모델이 생성한 가상 롤아웃을 환경 상호작용 없이 정책 학습에 직접 사용하는 방식으로서 입력으로 모델의 상태·행동 예측을 받고 정책이 출력되는 구조이다. 글에서는 동일한 모델과 데이터에서 RL-in-imagination이 실패하는 사례와 대비되어 검증 실험으로 쓰였다.

Dream Rehearsal

— 월드 모델이 생성한 상상 롤아웃을 이용하되, 그 경로들에 대해 오프라인에서 채점(graded scoring)하고 감독 학습 방식으로 자기 모방을 수행하는 기법이다. 본문 실험에서는 동일한 상상 데이터와 고정된 모델을 쓰면서 학습 경로만 바꿔 행동 복구에 성공한 핵심 처리 절차로 제시된다.

Graded Scoring

— 모델이 생성한 상상 트래젝토리 각각에 대해 단순 반환값 대신 특정 규칙으로 점수를 매겨 학습 신호를 조절하는 절차이다. 원문에서는 단순한 return 기반 스코어링이 모델의 낙관성으로 인해 실패하는 사례를 막기 위한 진단과 전처리로 활용되었다.