AgentOdyssey: 테스트타임 지속학습 에이전트 평가를 위한 개방형 장기 텍스트게임 생성

AgentOdyssey는 배포 시점에도 학습이 일어나는 '테스트타임 지속학습' 상황을 인위적으로 구성해 에이전트의 실제적 적응 능력을 계량화한다. 이 프레임워크는 무한히 생성 가능한 절차적 텍스트게임과 진단 지표를 결합해 탐험, 기억, 절차적 기술 획득, 장기 계획 등 상호 의존적 능력을 동시에 측정한다. 따라서 정적 평가로는 드러나지 않는 에이전트의 장기적 한계와 비용-효율적 설계 우선순위를 밝히는 도구로 활용될 수 있다.

왜 중요한가

핵심 기여

절차적 오픈월드 텍스트게임 생성 엔진

LLM 기반 엔티티·규칙·퀘스트 생성기와 프로그램 합성(생성·검증·수정) 파이프라인을 결합해 무한히 변형 가능한 장기 텍스트게임을 생성했다. 생성 과정은 영역·객체·NPC를 포함하는 world graph를 샘플링하고 action rules와 step rules로 동적 세계를 구현하며 자동 검증을 통해 실행 오류를 찾아 수정한다.

다면적 진단 평가 메트릭스

게임 진행도(메인·보조 보상) 외에 World Knowledge QA, Episodic Memory QA, Object·Action Exploration, Action Diversity, Model Cost 같은 진단 테스트를 설계해 에이전트의 학습·기억·행동 다양성 및 토큰 비용을 정량화했다. 각 지표는 게임 플레이 전후 비교와 단계별 측정을 지원해 데이터 오염 여부와 학습 곡선을 평가한다.

다양한 에이전트 패러다임에 대한 실증적 분석

Long Context, Fixed Size Memory, RAG, SFT 등 대표 에이전트 패러다임을 여러 LLM 백본과 결합해 500스텝 장기 실험을 수행했다. 실험은 Long Context가 정보량에 의해 성능이 크게 향상되지만 토큰 비용이 제곱적으로 증가함을 보였고, short-term memory가 여러 패러다임의 성능 개선에 핵심 요소임을 확인했다.

핵심 아이디어 이해하기

장기·비재설정 환경에서는 단회 훈련으로 얻은 정적 성능이 실제 배포상황에서 유지되지 않는다. 에이전트는 새로운 엔티티·동역학·절차적 규칙을 상호작용을 통해 지속적으로 획득·통합해야 하며, 이러한 과정은 탐험으로 경험을 수집하고 일화적 기억을 통해 재사용하며, 축적된 지식을 바탕으로 장기 계획을 세워야 성공 확률이 상승한다. 따라서 평가자는 단순한 정적 보상 외에 에이전트가 실제로 '무엇을 배웠는가'를 측정해야 한다.

방법론

AgentOdyssey는 환경을 POMDP(상태공간, 행동, 전이, 보상, 관찰)로 정형화하고 각 시점의 상태를 world graph로 표현한다. 게임 생성기는 베이스 게임을 조건으로 LLM을 이용해 영역·객체·NPC·행동 규칙·스텝 규칙·퀘스트를 합성하며 생성된 프로그램은 자동 테스트 엔진에서 임의 에이전트로 시뮬레이션해 런타임 오류를 피드백하며 수정한다. 평가 측정은 메인·보조 보상 정규화 방식과 World Knowledge QA 및 Episodic Memory QA를 포함한 진단 모듈로 구성되며, 행동 다양성은 슬라이딩 윈도우 기반 엔트로피로 수치화하고 모델 비용은 누적 토큰으로 계산한다.

주요 결과

실험 1에서 Long Context(특정 강력한 LLM과 결합)가 가장 높은 게임 진행 성과를 보였으나 인간 성능에 현저히 못 미쳤다. World Knowledge QA와 Episodic Memory QA에서 Long Context는 게임 플레이 전후 정확도 향상을 가장 크게 기록했으나 토큰 사용량은 스텝에 따라 제곱적으로 증가해 예산 제한 하에서는 의미 있는 지평이 단축되었다. 실험 2에서는 SFT(LoRA 기반 파라메트릭 업데이트)와 short-term memory를 결합한 변형이 소형 모델 환경에서 가장 우수한 성능을 보여, 단기 작업 기억과 파라메트릭 적응의 조합이 테스트타임 학습에 효과적임이 확인됐다.

기술 상세

전체 아키텍처는 베이스 게임 스캐폴드와 LLM 기반 생성기(엔티티·규칙·퀘스트), 게임 엔진(world graph 샘플링·전이 시뮬레이션), 자동 검증 파이프라인, 에이전트 인터페이스로 구성된다. 게임 상태는 노드(영역)와 노드 내 객체·NPC 인스턴스를 포함하는 world graph로 표현되며 액션 규칙은 즉시 상태 전이를, 스텝 규칙은 시간 기반·조건부 동적 변화를 유발한다. 평가 수학은 메인·보조 보상을 전 범위에서 정규화하여 결합 보상 R_combined = 1/2(R_main / M_main + R_sup / M_sup)로 정의하고 행동 다양성 AD는 윈도우 내 행동 분포의 엔트로피를 log N으로 정규화해 계산한다.

한계점

논문에 명시된 한계로는 관찰이 전적으로 텍스트로 제한되어 시각적 지각·비전-언어 결합 문제를 다루지 못한다는 점과 단일 에이전트·턴 기반 설계로 실시간 멀티에이전트 상호작용 및 연속적 시간 동역학을 실험하기 어렵다는 점이 있다.

실무 활용

AgentOdyssey는 연구자와 엔지니어가 테스트타임 지속학습 알고리즘의 장기적 거동과 비용-성능 절충을 실험적으로 평가하는 실용적 플랫폼으로 활용 가능하다. 특히 에이전트 메모리 구조나 파라메트릭 테스트타임 업데이트의 설계 결정을 검증하는 데 유용하다.

테스트타임에 파라메트릭 업데이트(예: LoRA/SFT) 전략의 장기 안정성 및 catastrophic forgetting 검증
메모리 구조(장·단기 결합) 설계가 장기 계획·탐험에 미치는 영향 비교 실험
RAG 등 외부 검색 기반 메모리의 비용-효율성 평가와 토큰 예산 제약 하의 성능 분석

코드 공개 여부: 공개

코드 저장소 보기

키워드

test-time continual learning(테스트타임 지속학습)procedural generation(절차적 생성)text games(텍스트 게임)episodic memory(일화적 기억)short-term memory(단기 기억)

용어 해설

테스트타임 지속학습(Test-Time Continual Learning): — 에이전트가 배포 후 상호작용을 통해 지속적으로 새 지식과 기술을 축적하고 파라미터 또는 컨텍스트를 갱신하여 성능을 개선하는 학습 패러다임으로, 평가 시점에도 학습이 일어나는 환경을 가정해 장기적 적응 능력을 측정한다.
일화적 기억(Episodic Memory): — 개별 상호작용의 순차적 경험을 보존하여 이후 의사결정에 참조하는 메커니즘으로, 특정 사건의 시간·장소·결과를 유지해 장기 계획과 오류 회복에 기여한다.
단기 기억(Short-Term Memory): — 최근 관찰·추론·행동 기록을 고정 크기 창으로 유지해 즉시적 작업과 서브골 트래킹에 사용하는 메커니즘으로, 장기적 축적과는 별개로 작업 중간 상태를 빠르게 참조하게 한다.
검색 증강 생성(RAG)(Retrieval-Augmented Generation): — 외부 저장소에서 관련 문서나 과거 경험을 검색해 컨텍스트로 주입한 뒤 LLM이 이를 조건으로 출력을 생성하는 기법으로, 기억량을 무한에 가깝게 확장하면서도 추론 시 선택된 정보만 사용하도록 한다.
월드 그래프(World Graph): — 게임 환경의 공간 노드(지역)와 해당 지역에 존재하는 객체·NPC 인스턴스를 노드에 포함하고, 지역 간 연결(잠김/열림)과 엔티티 분포를 엣지로 표현한 구조화된 상태 표현으로, 환경 샘플링과 동적 업데이트의 기초가 된다.

AgentOdyssey: 테스트타임 지속학습 에이전트 평가를 위한 개방형 장기 텍스트게임 생성

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 피드

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

관련 토론

댓글

관련 피드