BOOKMARKS: 롤플레이 에이전트를 위한 효율적 활성 스토리라인 메모리

긴 호라이즌 스토리라인에서의 일관성을 유지하려면 중요한 세부 정보를 보존하는 메모리 시스템이 필요하다. 기존의 프로파일링이나 재현적 요약은 정보 손실이 불가피하므로, BOOKMARKS는 질의-답 형태의 북마크를 스토리라인에 걸쳐 유지·동기화하고 필요할 때만 업데이트한다. 결과적으로 검색 기반 grounding의 정확도와 처리 효율이 향상되며, 장기 이야기에서의 일관성 유지에 유리하다.

출발점: 롤플레이 에이전트(RPA)가 긴 이야기에서 일관성을 유지하려면 상태(state), 행동(behavior), 개념(concept) 정보를 지속적으로 필요로 한다. 기존 방식은 이러한 정보를 전부 하나의 프로파일로 압축하거나 필요한 정보만 부분적으로 호출하는 방식이다. 한계는 전체 히스토리를 재구성하거나 요약하는 과정에서 중요한 세부가 손실될 수 있다는 점이다. 해결 원리: BOOKMARKS는 이야기의 각 지점에 대해 질의-답 형태의 북마크를 관리하는 memory bank B를 유지한다. 예측 시점 i에서 현재 장면 si와 캐릭터 ci에 대해 활성 북마크 Bi를 선택하고, 이 북마크들을 i 시점으로 동기화한다. 동기화된 y는 grounding context gi를 구성하는 데 사용되며, 근접한 북마크의 컨텍스트도 보완적으로 포함한다. 이때 제안(Propose) 단계에서 현재 태스크에 유용한 질의를 생성하고, 매칭(Matching) 단계에서 재활용/파생/신규 생성 여부를 판단한다. 결과적으로 active bookmarking은 현재 태스크에 필요한 정보만 신속하게 업데이트하고, passive updating은 불필요한 메모리의 재계산을 피한다. 이 설계는 장기 이야기에서 세부 정보의 손실 없이 효율적으로 기억을 유지한다. 1) 활성 grounding으로 task-specific memory targets를 탐색, 2) 근처 북마크를 통해 최근 문맥 보존 및 재사용을 가능하게 함.

전반적 접근: 시퀀스 A = [a1,...,aN]에서 목표 행동 ai를 예측하기 위해 si와 ci를 고려하는 grounding 모듈을 삽입한다. BOOKMARKS는 스토리라인의 특정 시점에서 질의-답 형태의 북마크 풀 B를 관리하고, 예측에 필요한 Bi만 활성화한다. 북마크 b = (q, y, τ, p, m)로 정의되며, q는 질의, y는 현재 답, τ는 검색 타입(concept/state/behavioral), p는 동기점, m은 타입별 보조 메모이다. 3단계 워크플로우: 1) Proposal Qi 생성(현재 태스크에 유용한 질의). 2) Matching: B에서 τ 타입에 맞는 후보를 찾고, reuse/derive/none으로 분류. 3) Grounding: 활성 북마크를 현재 스토리 포인트로 동기화하고 grounding context gi를 구성. Grounding context는 동기화된 북마크의 답과 인접 북마크의 컨텍스트를 결합하여 a_i ∼ RPA(·|s_i,c_i,g_i)로 행동을 예측한다. 동기화 연산자 Uτ는 q, y, m, [ap+1,...,ai−1], C를 입력으로 받아 (y′, m′)를 산출한다. State 북마크는 보이지 않는 부분을 chunk 단위로 순차 업데이트하고, Behavioral 북마크는 관찰된 행동에서 직접 근거를 추출해 요약한다. Concept 북마크는 unseen storyline에서 발생한 개념의 맥락을 검색하고, 관련 포인트를 묶어 요약한다. 주요 차이점은 전체 히스토리 재계산 대신 필요한 부분만 업데이트한다는 점이며, 제안된 질의가 장기간 유지될 수 있도록 설계된다는 점이다.

주요 벤치마크 결과: Fandom 벤치마크에서 Vanilla 26.56, RICL 27.53, ETA 28.06에 비해 BOOKMARKS가 30.03으로 우수하다. Bandori 벤치마크에서 Vanilla 39.25, RICL 40.81, ETA 41.98에 비해 BOOKMARKS가 44.53으로 우수하다. 평균적으로 BOOKMARKS는 두 벤치마크 모두에서 상회하는 성능을 보였다. Ablation 연구에서 Derivation이나 Reuse를 제거하면 효율이 떨어지는 경향을 보였고, Near Notes를 제거하면 성능이 감소했다. Live 업데이트 실험에서 Event 321의 다수 캐릭터에서 BOOKMARKS가 최고 성능을 기록했다. Case Study에서 다중 행동 생성 시 BOOKMARKS가 평균 48.70으로 최상위를 차지했다.

아키텍처: 북마크 풀 B와 활성 부분 Bi를 두고, ai 예측을 위한 grounding context gi를 생성한다. b = (q, y, τ, p, m)로 구성되며, τ ∈ {concept, state, behavioral}로 구분된다. 프로포절(Proposal)에서 Qi를 생성하고, 매칭(Matching)에서 reuse/derive/none으로 분류한다. 재활용되는 북마크의 경우 p는 현재 이야기 포인트로, y는 동기화된 상태로 업데이트된다. State 북마크는 미처리 부분을 chunk 단위로 누적 업데이트하여 상태를 반영하고, Behavioral 북마크는 관찰된 행동에서 직접 근거를 수집해 요약한다. Concept 북마크는 unseen storyline에서 개념의 발생 위치를 찾고 주변 맥락을 수집해 답을 갱신한다. 동기화는 점진적으로 수행되며, 학습된 proposal은 장기 유지 가능성을 높이도록 설계된다. grounding 컨텍스트는 활성 북마크의 synchronized 답과 근처 북마크의 최근 컨텍스트를 결합하여 a_i ∼ RPA(·|s_i,c_i,g_i)로 action을 예측한다. 효율성은 활성 북마크의 수를 제한하고, unseen suffix만 처리하는 incremental 업데이트에 의해 달성된다.

논문은 스토리라인 수준의 상태/행동/개념에 집중하며, finer-grained recognition 관리(예: 어떤 캐릭터가 어떤 정보를 알고 있는지)로의 확장을 언급한다. 북마크를 grounding 모듈로 사용하되 self-refinement과의 직접적 결합은 향후 과제로 남아 있다. 타입별 업데이트 정책은 더 커스터마이즈될 수 있다.