장기 의사결정 LLM 에이전트를 위한 경계된 메모리 계약

장기 러닝 환경에서 LLM 기반 에이전트는 수백 회의 전략적 결정을 내리며 이전 정보의 관리가 성능에 직접 영향을 미친다. 이 논문은 프롬프트 길이가 런 길이에 따라 무제한으로 늘어나는 기존 방식 대신 각 결정에 대해 경계된 입력을 보장하는 메모리 계약을 도입해 개별 메모리 요소의 인과 효과를 고립시켰다. 결과물로서 재현 가능한 테스트베드와 궤적 데이터셋을 공개해 장기 의사결정에서 명시적 메모리 레이어의 역할을 체계적으로 연구할 수 있게 했다.

장기 의사결정 환경에서는 에이전트가 마주하는 상태와 관찰의 총합이 매우 커지므로 전체 전사를 단순히 이어붙이면 프롬프트가 시간에 따라 기하급수적으로 증가한다. Transformer 기반 모델은 입력 시퀀스 길이에 따라 연산과 메모리 요구량이 크게 증가하므로 장기 런에서 원시 전사를 그대로 유지하는 방식은 실용성이 떨어지고 단일 기억 요소의 효과를 분리하기 어렵다. 따라서 입력을 경계하지 않으면 어떤 정보가 실제로 결정을 이끌었는지 해석과 실험적 검증이 불가능해진다. 이 논문은 각 결정마다 새로 조립된 사용자 메시지를 입력으로 사용하는 경계된 메모리 계약을 도입해 이 문제를 해결한다. 조립 과정에서 typed retrieval을 사용해 과거 관찰, 도구 호출, 성찰 등 유형별로 필요한 항목만 검색해 포함함으로써 프롬프트 길이를 일정하게 유지했다. 이 방식은 입력이 런 길이에 따라 증가하지 않기 때문에 특정 메모리 레이어를 제거하고 그 영향만을 독립적으로 측정할 수 있게 한다. 경계된 계약을 적용하면 명시적 메모리 레이어가 어떤 의사결정 유형에 기여하는지 구체적으로 관찰할 수 있다. 예컨대 전략적 스킬 레이어는 단기 전술적 판단보다 장기적 승률과 더 직접적으로 연관될 가능성이 크며, 제거 실험은 이러한 인과관계를 탐지하는 도구가 된다. 이 접근은 단순한 누적 전사 기반 방법과 달리 개별 구성요소의 기여도를 계량적으로 비교할 수 있게 하며 장기 LLM 에이전트 설계의 진단적 분석을 가능하게 한다.

전체 접근은 경계된 메모리 계약을 설계하고 이를 Slay the Spire 2 게임 환경에 적용해 비교 실험을 수행하는 것이다. 각 결정 시점에서 원시 전사를 이어붙이지 않고 typed retrieval을 통해 여러 유형의 과거 정보를 선별해 prompt assembly로 하나의 사용자 메시지를 구성한다. 이렇게 구성된 메시지를 모델에 입력해 행동을 생성하고, 동일한 계약을 유지한 채로 특정 메모리 레이어를 비활성화하는 제거 실험을 수행해 레이어별 영향력을 측정한다. 핵심 메커니즘은 typed retrieval과 prompt assembly, 그리고 명시적 메모리 및 스킬 레이어의 분리다. typed retrieval은 저장된 각 항목을 타입 라벨로 색인해 의사결정 규칙에 따라 검색 우선순위를 부여한다. prompt assembly는 검색된 항목을 규칙적으로 결합해 모델 입력을 구성하며 이 조립 규칙이 계약의 경계성을 보장하는 핵심 절차다. 학습 및 평가 절차에서는 하니스로 다수의 게임 런을 자동 수집하고 완료된 궤적을 조건 태그와 함께 보존했다. 제거 실험은 fixed-A0 ablation처럼 특정 레이어 또는 스킬을 비활성화한 조건을 만들고 동일한 난이도와 시드에서 반복 실행해 승률 변화를 비교했다. 추가로 cross-backbone 탐침과 누적 컨텍스트 기반 공개 기준선을 운영적 비교로 보고해 계약 변수 자체의 통제된 검증과는 구분했다.

주요 벤치마크 결과로서 공개 온라인 벤치마크에서 frontier LLM들은 동일 게임과 난이도에서 다섯 가지 구성 모두에 대해 최하 난이도에서 0승을 기록했다. 개발자 보고 기준으로 동일 난이도에서 인간 승률은 16%로 보고되어 모델 성능이 인간 대비 현격히 낮은 상황임이 확인되었다. 이 결과는 과제가 어렵지만 포화 상태에 있지 않음을 의미한다. 제거 실험 결과에서는 no-store baseline이 10게임 중 3승을 기록한 조건에서 명시적 스킬 레이어를 추가하면 10게임 중 6승으로 증가하는 방향성이 관찰되었다. 표본 크기에서는 Fisher exact p ≈ 0.37로 통계적 결론을 내리기에는 부족했으나 스킬 레이어 활성화가 가장 큰 차이를 만든다는 점이 드러났다. 논문은 이 비교를 탐색적이고 운영적인 관점에서 보고하였으며 통계적 결정력 확보를 위해 더 많은 표본이 필요함을 함께 명시했다. 효율성이나 비용 측정 관련 수치는 초록에서 제한적으로 보고되며 주요 기여는 계약 설계와 재현 가능한 데이터셋 공개에 있다. 공개된 298개의 완료 궤적과 프롬프트 기록은 후속 연구자가 동일 조건에서 성능과 메모리 설계의 영향을 반복 검증할 수 있는 자원을 제공한다. 따라서 결과의 재현성과 분석 가능성이 중요한 산출물로 남는다.

전체 아키텍처는 입력 조립 파이프라인과 여러 명시적 메모리 및 스킬 레이어로 구성된다. 에이전트는 각 결정 시점에 typed retrieval로 저장소에서 타입별 항목을 검색하고 prompt assembly 규칙에 따라 그 항목들을 결합해 단일 사용자 메시지를 생성한다. 이 메시지는 런 길이에 무관한 고정된 입력 크기를 유지하도록 설계되어 있으며 모델의 행동은 이 조립된 메시지에 의해 결정된다. 핵심 알고리즘적 기반은 타입화된 색인과 우선순위 검색, 그리고 레이어별 활성화 제어이다. 색인된 항목들은 타입 라벨로 구분되며 검색 규칙은 의사결정 맥락과 전략적 필요에 따라 다른 가중치로 항목을 선택한다. 예를 들어 최근의 도구 호출이나 특정 전략적 성찰은 높은 우선순위를 받아 프롬프트에 포함될 수 있고, 덜 관련된 세부 관찰은 제외된다. Prior work 대비 차별점은 원시 전사 누적 방식 대신 계약을 통해 입력을 경계하고 제거 실험이 가능한 구조를 설계한 점이다. 기존 누적 컨텍스트 방식은 런이 길어질수록 프롬프트가 비례적으로 커지므로 개별 메모리 효과 분리가 어렵다. 본 접근은 입력을 고정해 레이어 수준에서의 인과 추론을 가능하게 만들며 재현 가능한 실험 자원을 동시에 제공한다. 구현과 학습 세부사항은 하니스에서 자동으로 수집된 완료 궤적, 조건 태그, 고정된 메모리·스킬 스냅샷 및 프롬프트 기록으로 구성된 데이터 파이프라인을 포함한다. 제거 실험은 fixed-A0 ablation 같은 사전정의된 조건을 사용해 특정 레이어를 비활성화한 뒤 동일한 시드와 난이도에서 반복 실행해 승률을 비교했다. 통계적 검증을 위해 Fisher exact test를 사용했고 표본 크기 제한으로 인해 일부 비교는 방향성 해석에 그쳤다.

논문은 제거 실험에서 관찰된 승률 차이가 표본 크기상 통계적으로 결정적이지 않음을 명확히 했다. cross-backbone probe와 공개 누적 컨텍스트 기준선은 운영적 비교로 보고되어 계약 변수의 통제된 검증과는 구분된다. 따라서 일부 결론은 방향성 제시 수준이며 더 큰 표본과 추가 통제 실험이 필요하다.