FutureSim: 세계 이벤트의 재생으로 적응형 에이전트를 평가하는 연구

FutureSim은 모델의 지식 컷오프 이후 세계가 어떻게 전개되는지에 대한 예측 능력을 평가한다. 실제 뉴스 데이터를 시간 순으로 재생하고 ground-truth 피드백을 제공받아 예측을 업데이트하도록 요구하므로, 장기간의 테스트-타임 적응과 불확실성 추론을 체계적으로 비교할 수 있다. 기존 벤치마크가 제한된 시나리오를 다루는 반면, FutureSim은 현실 세계의 연속 이벤트를 기반으로 한 평가를 가능하게 한다.

출발점과 한계: Transformer 계열 모델은 고정된 지식으로 장기간의 세계 변화에 적응하기 어렵다. FutureSim은 시계열로 재생되는 실제 뉴스 컨텍스트를 이용해 점진적으로 업데이트하는 장기 예측 프레임워크를 제시한다. 해결 원리: 두 가지 핵심 구성 요소인 memory와 search를 도입해 시퀀스 전체를 재해석하고, ground-truth가 공개될 때마다 예측을 업데이트하며 calibrated한 확률 분포를 유지한다. 달라지는 점: harness 설계의 변화로 memory, search, 그리고 인퍼런스 규모의 증가가 open-weight 모델의 성능을 실질적으로 개선할 수 있음을 보여준다.

전체 접근 방식과 핵심 아이디어: FutureSim은 연대순 이벤트 재생 환경에서 두 가지 기본 행동 submit_forecast(question_id, outcomes)와 next_day()를 통해 예측을 제출하고 날짜를 전진시키는 구조를 취한다. 핵심 수학적/알고리즘적 기반: Brier Skill Score(BSS) 정의를 자유 형식 예측에 확장하여 사용하며, 예측 확률 분포 pq(o)와 ground_truth yq를 입력으로 받아 E[BSS(p, Y)]를 최대화하는 방향으로 평가한다. 데이터 및 실험 설계: CCNews의 기사로 구성된 컨텍스트 코퍼스와 Al Jazeera 소스에서 330개 질문을 생성하고, 2025-12-24부터 2026-03-28까지 88일간 시뮬레이션을 수행한다. 샌드박스 및 해저스 구체화: 모델은 sandboxed 환경에서 동작하고, per-question memory, forced memory update, context-budget feedback 등을 사용한다. 학습 전략 및 구현 세부: Baseline Harness 대비 Memory, Search, Memory per-question, Memory update 등의 ablation을 통해 각 요소의 효과를 분석한다. 결과 기반 분석: 실험은 다수 모델(GPT-5.5 등) 및 harness 설정에 따른 정확도 및 BSS의 변화, + 다중 에이전트 실험의 피어 스코어 및 Aggregation 효과를 다룬다.

메인 벤치마크 결과: 330개 질문에서 GPT 5.5가 최고 성능을 보이며, Codex 기반의 GPT 5.5가 3700회 회수 및 12.4M 토큰을 사용하였다. Harness 도입은 Qwen3.6 Plus, GLM 5.1 등에서도 정확도 및 BSS를 개선하는 경향을 보였고, 오픈-웨이트 모델의 경우 기본 해저스에서 calibration이 악화되기도 한다. Ablation 연구: memory를 제거하면 성능이 저하되며, 매일 컨텍스트 업데이트와 agentic search가 정확도와 BSS의 개선에 큰 기여를 한다. 인퍼런스 확장(inference scaling)으로 더 많은 reasoning effort를 사용하는 경우 성능이 개선되나, 수익적 이점은 포화 상태에 이른다. 다중 에이전트 실험은 서로 다른 에이전트가 동일한 aggregate를 형성하는 경향을 보이며, crowd aggregate와의 비교에서 피어 성과를 측정한다.

아키텍처 구조: FutureSim은 시간 축 위에 날짜별로 업데이트되는 환경으로, 태스크는 CSV 형식의 forecasting questions이며 컨텍스트는 날짜까지 수집된 문서들로 구성된다. 상호작용 방식은 두 가지 액션(submit_forecast, next_day)으로 제한되고, 각 문제에 대해 다수의 가능한 결과를 확률 분포로 제시하도록 허용한다. 핵심 메커니즘: 평가 지표로 Brier Skill Score(BSS)을 도입하고, 다중 결과에 대한 손실을 고려하는 패러다임으로 확장한다; Acc는 top-1 정확도를 측정한다. Prior work 대비 차별점: 실제 세계 이벤트의 연속적 재생과 오픈-웨이트 frontier 모델의 성능 분석, 메모리 및 검색의 역할 및 케이스-별 메모리 관리의 도입 등이다. 구현 및 세부: CCNews를 통한 오프라인 컨텍스트 저장소, LanceDB 기반의 하이브리드 검색, 8B 규모의 Qwen 임베딩, 샌드박스(bwrap 기반) 및 메모리 도구, per-question memory, 강제 메모리 업데이트를 포함한다. 이론적 기반: BSS의 적절성(properness) 및 다중 아웃컴 확률 분포의 평가 특성을 논문 부록에서 수학적으로 정당화한다.

FutureSim은 순수 예측 설정에 중점을 두며 에이전트의 행동이 환경 dynamics에 실질적 영향을 주지 않는다는 점에서 의사결정 도메인에 한계가 있다. 또한 컨텍스트 코퍼스는 CCNews의 스냅샷에 의존하므로 최신 정보의 반영이 제한될 수 있으며, 벤치마크의 난이도와 데이터 구성은 향후 확장이 필요하다.