계획은 지속되지 않는다: 컨텍스트 관리가 LLM 에이전트에서 결정적인 이유

장기 작업을 수행하는 LLM 에이전트는 오래된 토큰을 압축·요약·삭제하며 창(window)을 관리한다. 이 논문은 에이전트의 '계획(plan)'이 대부분 창에만 의존해 한 스텝 만으로 숨겨진 상태 신호가 급락함을 보이고, 따라서 컨텍스트 관리 정책이 에이전트 동작에 직접적인 위험 요소임을 밝힌다.

왜 중요한가

핵심 기여

리플레이 페어링(replay pairing) 진단법 도입

동일한 궤적을 계획 포함(A)과 계획 제거(B)로 재실행해 각 스텝에서 두 숨겨진 상태의 코사인 거리를 계산하는 방법을 도입했다. 이 신호(PlanSignal)는 계획의 존재가 숨겨진 상태에 미치는 영향을 정량화한다.

계획(plan)이 한 스텝 내에 급격히 소멸함을 실험적으로 규명

Llama-3.1-70B에서 계획 신호는 스텝 +1에서 0.453으로 상승한 뒤 한 액션-관찰 사이클에서 4.1× 감소해 스텝 +5에 약 0.027로 수렴했다(HotpotQA에서는 12.4× 감소). 이는 계획이 지속적 내부 상태로 유지되지 않음을 의미한다.

reasoning-trace 오염과 strict stripping 보정

DeepSeek 계열의 reasoning 모델은 <think> 블록에서 계획 내용을 재진술해 표준 제거 프로토콜이 오염을 남긴다. Prior <think> 블록을 제거하는 strict stripping을 적용하면 R1에서 스텝+1 신호가 in-sample에서 +163%, held-out에서 +153% 회복되었다.

선형 Ridge 프로브의 검출·전이성 확인

L32 레이어에서 학습한 Ridge 회귀 프로브가 ALFWorld에서 R^2=0.875, AUROC≈0.999를 기록했고 HotpotQA에 제로샷 전이 시 AUROC=1.000을 보였다. Llama-학습 방향은 다른 모델군에도 부분 전이되었다(예: R1 strict-strip AUROC=0.748).

컨텍스트 압축 스트레스 테스트: 계획 유출의 실전 비용

윈도우에서 계획을 유출(naive eviction)하면 ALFWorld 성공률이 56.7% → 22.0%로 -34.7pp 감소했고, 계획을 고정(pin)하거나 프로브로 조건부 재주입(probe-gated)해도 동일한 컨텍스트 예산에서는 성능이 회복되지 않았다.

핵심 아이디어 이해하기

출발점과 기존 한계: Transformer 계열 모델은 입력 윈도우에 있는 텍스트를 매 스텝 다시 읽어 행동을 안내할 수 있다(context-time memory), 또는 정보를 파라미터나 내부 누적 상태로 흡수해 텍스트가 사라져도 동작이 유지될 수 있다(weight-time memory). 장기 에이전트는 계획을 초기에 작성하고 여러 스텝에 걸쳐 참조하므로, 계획이 실제로 어디에 '저장'되는지가 컨텍스트 관리(압축·요약·유출) 안전성의 핵심이다. 기존 평가 지표는 행동 일치만 보았기 때문에 두 메커니즘을 구분하지 못했다.

방법론

전체 접근과 핵심 아이디어: 동일 궤적을 두 조건으로 실행한다. A(plan-present)는 계획 교환이 대화 히스토리에 남고, B(plan-stripped replay)는 동일한 관찰과 행동을 재생하되 계획 교환을 제거한다. 각 스텝과 각 레이어에서의 숨겨진 상태를 수집해 PlanSignal = 1 - cos(h_A, h_B)로 계산하고 시간에 따른 변화를 측정한다. 이 값은 계획 교환의 유무가 숨겨진 상태에 미치는 총합 영향(위치·길이·담화 구조 포함)을 상한으로 잡는다.

주요 결과

메인 벤치마크(ALFWorld): 스텝 +1에서 PlanSignal = 0.453 ± 0.039로 급상승했고 스텝 +2에서 0.110 ± 0.032로 떨어져 한 사이클 내에 4.1× 감소했다. 스텝 +5에서 약 0.027 수준으로 수렴했다. HotpotQA는 초기 크기 유사(0.445)하나 감쇠가 더 빨라 12.4× 감소를 기록했다. 프로브 성능: L32에서 학습한 Ridge 회귀가 ALFWorld에서 R^2=0.875±0.016, 이진화(τ=0.15) 시 AUROC=0.999, Precision=0.985, Recall=0.825를 보였다. 같은 ALFWorld 프로브 방향을 HotpotQA에 제로샷 적용하면 AUROC=1.000을 보였고, 도메인별 재교정으로 F1을 0.920까지 개선했다. reasoning 모델과 strict stripping: DeepSeek-R1-Distill-Llama-70B의 표준 측정은 스텝+1 신호 0.022로 작게 나왔으나 strict stripping 적용 시 0.058로 +163% 회복됐다. Llama 비계층 모델에서는 strict stripping이 +4.8%의 무의미한 변화에 그쳤다. 컨텍스트 압축 스트레스 테스트: 동일한 컨텍스트 예산(keep_recent=4)에서 naive eviction은 ALFWorld 성공률을 56.7%→22.0%로 −34.7pp 감소시켰고, plan_protected·probe_gated 정책은 동일 조건에서 성능을 회복하지 못했다.

기술 상세

전체 아키텍처 구조: 실험은 주로 Llama-3.1-70B-Instruct(비추론형)과 DeepSeek-R1-Distill-Llama-70B(추론형)를 ReAct 에이전트 템플릿으로 ALFWorld(텍스트 전용)와 HotpotQA에서 실행했다. 각 전방통과에서 최종 토큰 위치의 전체 숨겨진 상태(차원 ℝ^{8192})를 모든 레이어에서 수집했다. 모델은 8×H200 GPU에서 파이프라인 병렬로 실행됐다. PlanSignal 수식과 해석: 입력으로 두 조건의 숨겨진 상태 벡터 h_A, h_B를 받는다 → 계산으로 cos(h_A,h_B)를 구한 뒤 1−cos 값으로 변환한다 → 결과는 0~2 범위의 스칼라(보통 0에 가까울수록 동일함)를 반환한다 → 이 값은 계획 교환의 존재가 그 스텝의 내부 표현에 미친 총 영향량을 의미한다. 예: pre-plan 스텝에서 1−cos≈10^{−8}로 거의 0이다. 프로브 학습: 피크 레이어 ℓ^*=32의 숨겨진 상태를 입력으로 Ridge 회귀를 학습해 연속 PlanSignal(스칼라)을 예측한다 → 예측값에 임계 τ=0.15를 적용해 binary fire/no-fire 결정을 얻는다 → 학습은 80 ALFWorld 작업(50 train, 30 held-out)에서 5-fold stratified CV로 수행됐다. strict stripping 알고리즘: 표준 B 조건에서 계획 교환을 제거하는 것에 더해, 모든 이전 어시스턴트 턴에서 완결된 … 블록을 삭제한다. Thought:/Action: 뒤의 내용은 보존해 외부 행동-관찰 시퀀스는 동일하게 유지한다. 이 절차는 reasoning 모델의 재진술 오염을 감소시키는 목적이다. 통계·검증 조치: pre-plan 스텝으로 리플레이 메커닉 오류 여부를 감지했고(shown ~10^{−8}), 샘플 수는 ALFWorld 80 tasks(1360 post-plan steps), HotpotQA 30 pairs, 추가 R1 샘플로 구성됐다. Probe 성능의 일부는 step-index 누수에 기인할 수 있어(예: step index가 L32에서 R^2=0.978로 고도로 디코딩됨) 혼동을 제거하는 혼합효과 분석은 후속 작업으로 제시됐다.

한계점

논문이 명시한 제약만 기술한다.

표현적(representational) 주장에 집중하며 행동적(behavioral) 인과성은 약하다: strict stripping이 표현적 신호를 크게 회복했지만 행동 성공률 개선은 통계적으로 유의하지 않았다.
step-index 누수: PlanSignal과 step index의 상관으로 인해 프로브 AUROC의 일부는 단계 정보를 이용한 결과일 수 있으며, 이를 분리하는 혼합효과 통제가 아직 수행되지 않았다.
strict stripping의 비대칭성: B에만 블록을 제거하므로 복구된 신호가 진짜 계획 오염 제거인지, 비대칭적 분포 변화인지 완전히 구분되지 않는다. 논문은 양쪽에서 제거하거나 길이-매칭 중립 텍스트 대체 같은 후속 제어를 제안한다.
모델·도메인·예산 범위 제한: 실험은 주로 Llama/DeepSeek 계열과 ALFWorld/HotpotQA에 한정되며 더 넓은 복제·예산 스윕이 필요하다.

실무 활용

리플레이 페어링과 L32 기반 프로브는 컨텍스트 관리 시스템에서 '계획 소실'을 조기 경고하는 진단 도구로 사용될 수 있다. 프로브는 평균 4.45스텝(중간값 5) 선행 경고를 제공해 재주입 시점을 판단하는 신호를 줄 수 있다.

컨텍스트 매니저에서 계획/안전 지침의 유출 시점을 모니터링해 재주입 타이밍을 판단
모델별·도메인별로 계획 인코딩 깊이를 측정해 보존 우선순위 결정
리서치에서 계획-의존 토큰이 행동에 미치는 영향을 정량화하는 실험 파이프라인

코드 공개 여부: 미확인

키워드

context management(컨텍스트 관리)plan signal(플랜 신호)hidden-state cosine distance(숨겨진 상태 코사인 거리)replay pairing(리플레이 페어링)strict stripping(스트릭트 스트리핑)ALFWorld(ALFWorld 환경)AUROC(AUROC)

용어 해설

컨텍스트-타임 메모리(Context-time memory): — 모델이 필요한 정보를 매 추론 스텝마다 입력 텍스트(window)에서 다시 읽는 방식의 기억 방식이다. 토큰이 윈도우에서 사라지면 정보도 사라지므로 컨텍스트 관리(요약·압축·유출)가 성능에 직접 영향을 준다.
웨이트-타임 메모리(Weight-time memory): — 정보가 모델 파라미터에 흡수되어 텍스트가 사라져도 내부 상태로 남아있는 방식의 기억이다. 이 경우 컨텍스트에서 토큰을 제거해도 동작에 영향을 주지 않는다.
리플레이 페어링(Replay pairing): — 동일한 행동·관찰 궤적을 두 번 실행해서(A: 계획 포함, B: 계획 제거) 각 스텝의 숨겨진 상태 차이를 코사인 거리로 측정하는 진단 기법이다. 계획이 윈도우에 의존하는지 내부화됐는지 판별하는 수단이다.
스트릭트 스트리핑(Strict stripping): — 리플레이 페어링의 변형으로, 계획 교환을 제거할 뿐 아니라 prior <think> … </think> 블록 전체를 조건 B에서 삭제한다. reasoning 모델의 재진술 오염을 제거해 계획 신호를 더 잘 노출한다.
프로브 전이(Probe transfer): — 한 도메인/모델에서 학습한 선형(또는 Ridge) 프로브를 다른 도메인/모델에 그대로 적용해 계획-존재 방향이 얼마나 보편적으로 재현되는지 측정하는 방법이다.

계획은 지속되지 않는다: 컨텍스트 관리가 LLM 에이전트에서 결정적인 이유

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 피드

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

관련 토론

댓글

관련 피드