계획은 지속되지 않는다: 컨텍스트 관리가 LLM 에이전트에서 결정적인 이유

장기 작업을 수행하는 LLM 에이전트는 오래된 토큰을 압축·요약·삭제하며 창(window)을 관리한다. 이 논문은 에이전트의 '계획(plan)'이 대부분 창에만 의존해 한 스텝 만으로 숨겨진 상태 신호가 급락함을 보이고, 따라서 컨텍스트 관리 정책이 에이전트 동작에 직접적인 위험 요소임을 밝힌다.

출발점과 기존 한계: Transformer 계열 모델은 입력 윈도우에 있는 텍스트를 매 스텝 다시 읽어 행동을 안내할 수 있다(context-time memory), 또는 정보를 파라미터나 내부 누적 상태로 흡수해 텍스트가 사라져도 동작이 유지될 수 있다(weight-time memory). 장기 에이전트는 계획을 초기에 작성하고 여러 스텝에 걸쳐 참조하므로, 계획이 실제로 어디에 '저장'되는지가 컨텍스트 관리(압축·요약·유출) 안전성의 핵심이다. 기존 평가 지표는 행동 일치만 보았기 때문에 두 메커니즘을 구분하지 못했다.

전체 접근과 핵심 아이디어: 동일 궤적을 두 조건으로 실행한다. A(plan-present)는 계획 교환이 대화 히스토리에 남고, B(plan-stripped replay)는 동일한 관찰과 행동을 재생하되 계획 교환을 제거한다. 각 스텝과 각 레이어에서의 숨겨진 상태를 수집해 PlanSignal = 1 - cos(h_A, h_B)로 계산하고 시간에 따른 변화를 측정한다. 이 값은 계획 교환의 유무가 숨겨진 상태에 미치는 총합 영향(위치·길이·담화 구조 포함)을 상한으로 잡는다.

메인 벤치마크(ALFWorld): 스텝 +1에서 PlanSignal = 0.453 ± 0.039로 급상승했고 스텝 +2에서 0.110 ± 0.032로 떨어져 한 사이클 내에 4.1× 감소했다. 스텝 +5에서 약 0.027 수준으로 수렴했다. HotpotQA는 초기 크기 유사(0.445)하나 감쇠가 더 빨라 12.4× 감소를 기록했다. 프로브 성능: L32에서 학습한 Ridge 회귀가 ALFWorld에서 R^2=0.875±0.016, 이진화(τ=0.15) 시 AUROC=0.999, Precision=0.985, Recall=0.825를 보였다. 같은 ALFWorld 프로브 방향을 HotpotQA에 제로샷 적용하면 AUROC=1.000을 보였고, 도메인별 재교정으로 F1을 0.920까지 개선했다. reasoning 모델과 strict stripping: DeepSeek-R1-Distill-Llama-70B의 표준 측정은 스텝+1 신호 0.022로 작게 나왔으나 strict stripping 적용 시 0.058로 +163% 회복됐다. Llama 비계층 모델에서는 strict stripping이 +4.8%의 무의미한 변화에 그쳤다. 컨텍스트 압축 스트레스 테스트: 동일한 컨텍스트 예산(keep_recent=4)에서 naive eviction은 ALFWorld 성공률을 56.7%→22.0%로 −34.7pp 감소시켰고, plan_protected·probe_gated 정책은 동일 조건에서 성능을 회복하지 못했다.

전체 아키텍처 구조: 실험은 주로 Llama-3.1-70B-Instruct(비추론형)과 DeepSeek-R1-Distill-Llama-70B(추론형)를 ReAct 에이전트 템플릿으로 ALFWorld(텍스트 전용)와 HotpotQA에서 실행했다. 각 전방통과에서 최종 토큰 위치의 전체 숨겨진 상태(차원 ℝ^{8192})를 모든 레이어에서 수집했다. 모델은 8×H200 GPU에서 파이프라인 병렬로 실행됐다. PlanSignal 수식과 해석: 입력으로 두 조건의 숨겨진 상태 벡터 h_A, h_B를 받는다 → 계산으로 cos(h_A,h_B)를 구한 뒤 1−cos 값으로 변환한다 → 결과는 0~2 범위의 스칼라(보통 0에 가까울수록 동일함)를 반환한다 → 이 값은 계획 교환의 존재가 그 스텝의 내부 표현에 미친 총 영향량을 의미한다. 예: pre-plan 스텝에서 1−cos≈10^{−8}로 거의 0이다. 프로브 학습: 피크 레이어 ℓ^*=32의 숨겨진 상태를 입력으로 Ridge 회귀를 학습해 연속 PlanSignal(스칼라)을 예측한다 → 예측값에 임계 τ=0.15를 적용해 binary fire/no-fire 결정을 얻는다 → 학습은 80 ALFWorld 작업(50 train, 30 held-out)에서 5-fold stratified CV로 수행됐다. strict stripping 알고리즘: 표준 B 조건에서 계획 교환을 제거하는 것에 더해, 모든 이전 어시스턴트 턴에서 완결된 … 블록을 삭제한다. Thought:/Action: 뒤의 내용은 보존해 외부 행동-관찰 시퀀스는 동일하게 유지한다. 이 절차는 reasoning 모델의 재진술 오염을 감소시키는 목적이다. 통계·검증 조치: pre-plan 스텝으로 리플레이 메커닉 오류 여부를 감지했고(shown ~10^{−8}), 샘플 수는 ALFWorld 80 tasks(1360 post-plan steps), HotpotQA 30 pairs, 추가 R1 샘플로 구성됐다. Probe 성능의 일부는 step-index 누수에 기인할 수 있어(예: step index가 L32에서 R^2=0.978로 고도로 디코딩됨) 혼동을 제거하는 혼합효과 분석은 후속 작업으로 제시됐다.

논문이 명시한 제약만 기술한다.

1. 표현적(representational) 주장에 집중하며 행동적(behavioral) 인과성은 약하다: strict stripping이 표현적 신호를 크게 회복했지만 행동 성공률 개선은 통계적으로 유의하지 않았다.
2. step-index 누수: PlanSignal과 step index의 상관으로 인해 프로브 AUROC의 일부는 단계 정보를 이용한 결과일 수 있으며, 이를 분리하는 혼합효과 통제가 아직 수행되지 않았다.
3. strict stripping의 비대칭성: B에만 블록을 제거하므로 복구된 신호가 진짜 계획 오염 제거인지, 비대칭적 분포 변화인지 완전히 구분되지 않는다. 논문은 양쪽에서 제거하거나 길이-매칭 중립 텍스트 대체 같은 후속 제어를 제안한다.
4. 모델·도메인·예산 범위 제한: 실험은 주로 Llama/DeepSeek 계열과 ALFWorld/HotpotQA에 한정되며 더 넓은 복제·예산 스윕이 필요하다.