WorldLines: 장기-상태captured embodied 에이전트를 위한 벤치마크 및 모델링

본 연구는 embodied 에이전트가 다일 기간에 걸친 상호작용에서 세계의 상태를 지속적으로 추적하고 이를 바탕으로 Memory QA와 Embodied Task Planning을 수행해야 한다는 문제를 다룬다. 기존 벤치마크는 주로 대화 중심 메모리나 단기 작업에 집중했으며, 긴 기간의 상태 변화와 실행 제약을 연결하지 못했다. WorldLines는 이 문제를 해결하기 위해 장기-프로젝트 기반의 추적 데이터를 생성하고, 관찰-기반 메모리(ObsMem) 아키텍처를 제안한다. 실험은 관찰 가능성의 한계와 overwritten 상태 때문에 발생하는 도전 과제들을 구체적으로 제시하며, ObsMem가 Memory QA와 Embodied Planning에서 강력한 기준 아키텍처임을 보인다.

출발점: 장기-상태를 유지하는 embodied 에이전트의 평가가 어렵고, 기존 메모리 연구는 텍스트 중심인 경우가 많다. 원리: WorldLines는 cross-day 대화, 사용자 루틴, 객체/디바이스 상태 변화 등을 포함하는 연속 트레이스를 생성하고, ObsMem이 이벤트-상태-신념 간의Typed memory를 활용해 질의에 맞춘 증거를 선택한다. 달라지는 점: 증거-체인 기반 Memory QA와 상태-기반 계획의 결합으로, overwritten 상태나 partial observability 하의 상태 추적이 가능해지고 embodied planning의 실행 적합성으로 이어진다.

1. WorldLines 아키텍처: Grounded Worlds(Habitat/HSSD)에서 프로젝트 주도 트레이스를 생성하고, 이벤트-상태-증거 체인을 구축한다. 2) Project-driven Trace Generation: 다일 간 프로젝트를 만들고, 교차 дня 이벤트 스트림으로 확장하며, 실행 피드백과 상태 변경을 기록한다. 3) Evidence-Linked Task Construction: 증거-연계 샘플(증거 체인, 상태 타임라인, 에피소드 카드)을 Memory QA 및 Embodied Task Planning 샘플로 변환한다. 4) ObsMem 파이프라인: ingestion에서 Event/State/Belief/Commitment 트랙으로 분리 저장하고, query-time retrieval은 뷰별 인덱스와 필터링으로 구성한다. 5) 질의 계획-증거 선택: 질의-계획(plan)을 작성하고, 뷰별 증거를 조합해 상호 보강하는 최적의 증거 묶음을 선택한다. 6) 평가 프로토콜: Memory QA의 Judge/Perfect/Event R@5 등의 지표를 사용하고, Downstream Embodied Planning에서 Plan Judge와 State Consistency 등을 측정한다.

주요 결과는 ObsMem가 Memory QA에서 가장 높은 Judge 점수와 Perfect Rate를 달성했다는 점이다. ObsMem의 Memory QA에서 Judge는 0.713, Session Any@5는 0.879, Event R@5는 0.537로 다른 벤치마크 대비 우수하다. Ablation 연구에서 Evidence Selector를 제거하면 Judge가 0.435로 감소하며, Episode Consolidation 제거 시 Judge가 0.554로 감소한다. Downstream Embodied Planning 실험에서 ObsMem의 Plan Judge는 0.684로, State Consistency 0.721, Precondition Validity 0.702, Memory Use 0.690 등에서 다른 방법들보다 우수하다. 이는 Typed state trails가 기억의 상태 제약을 실행 가능한 계획으로 변환하는 데 유리하다는 것을 시사한다. 효율성 측면에서 ObsMem은 Retrieved Records의 수를 3.4으로 제한하고(latency는 다소 증가), 그래프 기반 메모리보다 컨텍스트가 더 작지만 더 정확한 증거를 제공한다.

1. WorldLines 아키텍처: Grounded Worlds를 바탕으로 프로젝트-주도형 장기 트레이스를 생성하고, 교차-일 간의 상태 변화 및 실행 피드백을 포함한다. 2) 트레이스 구성: Project-Driven Trace Generation은 도메인-프로젝트, 상태 변화 기록, 교차-일 간 이벤트를 포함하는 체인을 생성한다. 3) Evidence-Linked 샘플링: Memory QA 샘플은 Evidence Chain과 Ground-Truth World State를 연결한다. 4) ObsMem ingestion: 이벤트 트랙(Event Track)은 Append-Only, State Track은 current snapshot + history, Belief Track은 신뢰도 추적, Commitment Track은 미래 제약을 보존한다. 5) Query-time Retrieval: 질의에 따라 State/View/Belief/Event/Commitment/Episode 뷰를 선택적으로 조회하고, 후보 증거를 중복 제거한 뒤, 증거 선택기로 최적의 증거 묶음을 구성한다. 6) 증거 선택 inference: state를 우선하는 current_state, belief를 신뢰도-불확실성 판단에 활용, event/report를 과거 증거로 연결하는 방식으로 구성한다.

시뮬레이션 기반 Habitat/HSSD 환경에서의 평가로, 현실 가정의 잡음, 관찰 오류, 인간의 비정형 행동을 모두 커버하기 어렵다. ObsMem의 typed retrieval 및 belief-aware 증거 선택은 추후 인지- perception 모듈과의 통합과 효율성 개선이 필요하다.