정신·물리 결합 세계모델 MWM

왜 중요한가

사람의 행동은 단순한 물리적 결과만으로는 설명되지 않을 때가 많으며, 믿음·의도·감정·규범 같은 정신 변수가 어떤 행동이 합리적이고 수용 가능한지를 결정한다. MWM은 물리 상태와 정신 상태를 동일한 세계 상태로 결합함으로써 타깃 관점의 부분 관찰과 행동의 의미(mental content)를 명시적으로 모델링하고, 후보 행동마다 물리·정신 채널을 병렬로 시뮬레이션해 그 결과를 비교한다. 이 구조는 로봇 협업·보건 보조·교육·인터랙티브 캐릭터처럼 행동의 사회적 의미가 결정적일 때 자동화 시스템이 더 적절하고 안전한 결정을 내리도록 돕는다.

핵심 기여

정신·물리 결합 세계모델(MWM) 형식화

이 논문은 세계 상태를 물리적 구성요소와 정신적 구성요소의 곱공간으로 정의하고, 타깃별 부분 관찰 생성과 행동 조건 전이를 핵심 연산으로 하는 수학적 틀을 제시한다. 틀은 상태 s_t=(s_t^{phy},s_t^{ment})와 관찰 o_t^{ε}, 행동 a_t^{ε}=(phy,ment)를 명시하며, 전이 커널을 물리 채널과 정신 채널의 결합으로 분해한다. 이 형식은 행동 예측에서 정신 변수가 필수적이라는 핵심 주장을 이론적으로 근거화한다.

Mentis: 훈련 불필요·검사 가능한 기준 구현

Mentis는 MWM을 운영 가능한 베이스라인으로 구현한 모듈형 시스템이며, 상태 파싱·관찰 생성·행동 분해·분기별 물리·정신 전이·브랜치 평가의 6단계 파이프라인으로 구성된다. 모든 중간 산출물을 JSON 등으로 기록해 각 단계의 오류를 국소화할 수 있으며, 모델 학습 없이 LLM을 추론 엔진으로 활용하는 설계로 구조적 효과를 검증하도록 설계되었다. 구현은 공개 리포지터리(https://github.com/mental-world/Mentis)로 제공된다.

Menti-Bench와 실험적 증거

저자들은 텍스트·이미지·소리-비디오를 망라한 Menti-Bench(448개 레코드, 2,688 후속 상태 주석)를 수작업으로 구축해 과정 완비 평가를 가능하게 했다. 8종의 대형 언어 모델(gpt·claude 계열)을 대상으로 사다리형 비교 실험을 수행하여 MWM 전체(S6)가 평균 Final-action F1 87.9%로 최상임을 확인했고, 정신 채널 제거·물리 채널 제거·분리 전이 등 제거 실험이 성능을 크게 떨어뜨렸다. 종합 분석은 전이(transition) 단계가 현재 병목임을 지적한다.

핵심 아이디어 이해하기

전통적 세계 모델은 물리적 장면의 미래를 예측하지만 사람의 행동은 종종 그 사람이 현재 무엇을 믿고 원하는지에 좌우된다. MWM은 전이 대상 상태를 s_t=(s_t^{phy},s_t^{ment})로 확장하고, 세계모델이 타깃별 부분 관찰 o_t^{ε}를 렌더링한 뒤 후보 행동의 물리적 운반(carrier)과 정신적 의미(content)를 분해하여 각 분기에 대해 물리·정신 전이를 동시에 시뮬레이션하도록 설계한다. 이 방식은 동일한 물리 상황에서 서로 다른 믿음을 가진 에이전트가 상이한 행동을 보일 때 발생하는 예측 실패를 구조적으로 제거한다.

방법론

실험 입력은 장면(텍스트/이미지/사운딩 비디오), 타깃 에이전트, 의사결정 질문과 6개의 선택지이다. Mentis 파이프라인은 입력을 구조화된 현재 상태로 파싱하고, 그 상태에서 타깃 관점의 부분 관찰을 생성한 다음 각 선택지를 물리적·정신적 구성요소로 분해하여 병렬로 분기별 후속 상태를 예측한다. 각 분기 결과는 정신 일관성, 물리 타당성, 사회적 적합성의 3축으로 정규화 점수를 부여받고 상위 점수 분기가 최종 선택으로 결정된다.

주요 결과

주요 합산 결과는 전체 MWM 구성(S6)이 8개 대형 모델 평균에서 Final-action F1 87.9%를 기록해 비교 기법보다 우수하다는 것이다. 인간 상한은 98.5%로 제시되며, gpt-5.6-sol 기준으로 S6 baseline은 90.7%를 기록했고 'all four oracles' 개입 시 97.0%까지 상승해 인간과의 격차가 크게 줄었다. 제거 실험에서 정신 채널 제거(A1)는 75.8%로, 물리 채널 제거(A2)는 71.4%로 성능이 큰 폭으로 하락했고, 전이 분리(A3)는 81.5%로 S6 대비 −6.4% 포인트 성능 저하를 보였다. 장르별 분석에서는 대인 관계 장면에서 S6-S1 이득이 +26.4 F1 포인트로 가장 크게 나타나 정신 변수의 중요성을 뒷받침했다.

기술 상세

Mentis는 학습을 수반하지 않는 구조적 베이스라인으로 LLM을 세계모델 역할로 배치해 각 모듈(State Parser, Observation Generator, Action Parser, World State Transitor, Evaluator)을 프롬프트 기반으로 동작시킨다. 현재 평가 세트 Menti-Bench는 448개 레코드(텍스트 320, 이미지 100, 사운딩 비디오 28)와 2,688개의 주석된 후속 상태를 포함하며, 실험에는 gpt-5.6-sol 등 OpenAI 모델들과 Claude 시리즈를 포함한 8개 모델을 사용했다. 평가 지표는 최종 선택의 F1, 중간 산출물의 구조적·의미적 일치, 분기 점수 정렬 일치 등을 포함하며 운영점은 SC@6 같은 자기일관성 및 중간-비교 점수 설정으로 고정했다.

한계점

Menti-Bench는 과정 완비 평가에 초점을 맞춘 소규모 정교 검증용 데이터셋으로, 대규모 일반화 성능을 보장할 수 없다. Mentis 구현은 훈련 불필요 설계를 택해 구조적 영향을 분리했지만, 실제 작동성은 사용된 LLM의 추론력과 프롬프트 산출에 크게 의존한다. 또한 실험 결과가 전이(transition) 모듈을 병목으로 지목하고 있으나 이 부분을 개선하려면 학습 기반 전이 모델이나 더 풍부한 행동 샘플이 필요하며, 개방형 행동 생성(free-proposal) 시나리오에 관한 광범위한 검증은 아직 수행되지 않았다.

실무 활용

MWM은 사람과 상호작용하는 자동화 시스템이 에이전트의 믿음·목표·규범을 명시적인 상태로 유지해 후보 행동의 물리적·정신적 결과를 비교하게 함으로써 보다 적절한 결정을 도출하게 한다. Mentis 구현과 Menti-Bench는 연구·프로토타입 단계에서 시스템 구성요소를 검사하고 병목을 진단하는 도구로 쓰기 적합하다. 코드와 데이터는 공개 리포지터리로 제공되어 재현과 확장을 지원한다.

가정용 보조 로봇이 사용자의 주의·지식 상태를 모델링해 간섭을 최소화하거나 질문을 선택적으로 제시하는 상황
의료·상담 보조 시스템이 환자의 신념·불안·동의 가능성을 반영해 개입 시점과 방식(직접 조치 vs 질문·상담)을 결정하는 상황
교육용 튜터가 오답의 원인을 지식 결핍·불확신·주의 부족으로 구분해 맞춤형 피드백을 선택하는 상황
게임·시뮬레이션에서 NPC의 믿음·관계·규범을 유지해 일관된 사회적 궤적을 생성하는 상황

코드 공개 여부: 공개

코드 저장소 보기

키워드

Mental World Modeling (MWM)MentisMenti-BenchPOMDPTheory-of-Mindstate parsingobservation generationaction decompositioncoupled transitionmultimodal world model

용어 해설

부분 관찰 마르코프 결정과정 (POMDP)(Partially Observable Markov Decision Process): — POMDP는 에이전트가 전체 상태를 관찰하지 못하는 조건에서 의사결정을 다루는 수학적 골격으로, 상태·관찰·행동·전이 확률을 입력으로 받아 관찰(history) 기반 정책을 출력한다. MWM은 이 골격을 확장해 물리 상태와 정신 상태를 공동으로 잠재 변수로 보관하고, 타깃 관점에서 부분 관찰을 렌더링한 뒤 후보 행동의 분기별 전이를 시뮬레이션한다.
마음 이론(Theory of Mind)(Theory of Mind): — 마음 이론은 다른 사람의 믿음, 욕구, 의도 등을 귀속시켜 행동을 예측하는 인지 능력의 개념적 틀로, MWM에서는 이러한 정신 변수들을 세계 상태의 구성 요소로 취급해 행동 생성과 전이 예측에 직접적인 원인 변수로 사용한다. 이 접근은 동일한 물리 장면이라도 서로 다른 믿음을 가진 에이전트가 다른 행동을 보일 수 있음을 수학적으로 포착한다.
세계 모델(World Model): — 세계 모델은 현재 환경 상태를 표현하고 미래 상태를 예측하는 계산적 장치로, 전형적으로 물리적 관찰(객체, 위치, 운동)을 잠재 상태로 압축하고 전이 모델을 학습한다. MWM은 이 개념을 확장하여 물리적 변수와 정신적·사회적 변수를 결합한 결합 상태를 유지하고, 타깃별 부분 관찰을 생성한 뒤 행동 조건 전이를 계산하는 구조를 채택한다.