LongMemEval-V2: 서버 환경에서의 장기 기억 평가를 위한 벤치마크

웹 에이전트가 인터페이스, 상태 변화, 워크플로우, 환경 고착점 등 환경 특유의 경험을 축적하고 이를 추론에 활용하는 능력을 평가하는 벤치마크를 제시한다. LME-V2는 451개의 질문과 최대 500개의 트래젝토리 haystack, 115M 토큰 규모의 데이터로 구성되어 기억 능력의 다섯 가지 핵심 영역을 포괄적으로 측정한다.

출발점은 대규모 웹 에이전트의 장기 맥락에서 단순히 대화 기록을 보관하는 수준의 기억이 아니라, 환경 특유의 인터페이스, 상태 변화, 워크플로우 지식을 축적하고 재현 가능한 형태로 재활용하는 것이다. 다섯 가지 기억 능력(Static State Recall, Dynamic State Tracking, Workflow Knowledge, Environment Gotchas, Premise Awareness)을 정의하고, Trajectory haystack을 구성해 기억의 질을 평가한다. 이를 달성하기 위해 두 가지 기억 모듈 AgentRunbook-R(다중 풀 기반 RAG)과 AgentRunbook-C(코딩 에이전트 기반 파일 관리)로 서로 다른 메모리 관리 방식을 제시하고, 환경 특화 접근이 일반 프롬프트 기반 접근보다 높은 정확도-지연 시간 성능을 낳는다는 것을 실험으로 보여준다.

• 전체 접근 방식: LME-V2는 컨텍스트 수집(context gathering) 문제로 정의되며, Insert(h)로 트래젝토리를 기억에 누적하고, Query(q)로 메모리 컨텍스트 ci를 얻은 뒤, 고정된 reader R으로 응답을 생성한다. ŷi = R(qi, Trunc(ci)) 형태로 정답을 도출한다.

• 메인 벤치마크(전 체계): LME-V2-Small과 LME-V2-Medium에서 AgentRunbook-C가 가장 높은 정확도(각각 74.9%, 70.1%)를 달성했다. RAG 단일 baseline은 42.8%/38.1%, RAG+notes는 51.0%/45.9%, AgentRunbook-R은 58.6%/57.0%를 달성했다. Codex 기반은 69.9%/68.7%로 나타났다. Pilot studies에서 frontier LLM은 트래젝토리 없이 질문에 답하기 어렵고, oracle 트래젝토리 접근 시 Slice+notes 확장으로 정확도가 크게 올라가지만 전체 히스토리의 대용량으로 인한 제약이 있다.

3가지 기억 풀(Raw state slice pool, state transition event pool, procedure note pool)과 2개의 memory 디자인(AgentRunbook-R, AgentRunbook-C)을 통해 기억을 구성하고, Insert/Query API를 통해 점진적으로 컨텍스트를 확장한다. AgentRunbook-R은 각 풀에 대해 Dense retrieval으로 상호 보완적인 정보를 가져와 ci를 구성하고, AgentRunbook-C은 Trajectory를 파일로 저장하고 sandbox에서 코딩 에이전트를 통해 증거를 발췌해 memory_module_output.json에 저장한다. 실험은 Small/Medium 두 계층에서 진행되었고, 트랜잭션과 제약으로 200K 토큰으로 ci를 트렁케이션한다. Reader는 Qwen3.5-9B를 사용하며, RAG의 메모리 컨트롤러로 Qwen3-8B-Embedding을 사용한다.