AI 에이전트 세션 성능 저하의 기계적 원인과 구조화된 증거 기반 해결책

실용적 조언

에이전트 세션 중 실패한 접근 방식을 명시적으로 기록하여 모델이 동일한 실수를 반복하지 않도록 제약 조건을 형성하라.
중요한 작업을 수행하기 전 모델에게 현재 지식 상태와 불확실성을 스스로 평가하게 하는 단계를 추가하라.

섹션별 상세

장기 문맥에서 어텐션 스코어가 균일화되어 시스템 프롬프트의 영향력이 상실되는 현상이 확인됐다. 트랜스포머 아키텍처에서 입력 문맥이 길어질수록 특정 토큰에 대한 집중도가 떨어지며 출력이 훈련 가중치보다 노이즈에 더 많이 의존하게 된다. ICLR 2025 연구는 이를 'Critical Attention Scaling'으로 정의했으며, ICLR 2026에서는 다회차 대화 시 성능이 단일 회차 대비 39% 하락한다는 수치를 도출했다. 이는 장기 세션에서 에이전트의 일관성이 무너지는 근본적인 기계적 원인이다.

구조화된 증거 축적은 단순한 메시지 나열과 달리 모델의 예측 정확도를 향상시킨다. 사용자가 추론 과정을 공유하고 피드백을 제공하면 모델은 이를 조건부 예측의 유효한 신호로 활용하여 다음 토큰을 생성한다. MathChat-Agent 실험에서 협력적 대화가 정확도를 6% 높였으며, 코드 합성 작업에서도 다회차 구조화 대화가 단일 회차보다 우수한 성과를 냈다. 신호 밀도를 높이는 구조적 접근이 노이즈를 억제하는 핵심 기법이다.

RAG 시스템의 기대 보정 오차(ECE)가 0.4를 초과하여 모델의 확신과 실제 정답률 사이에 심각한 불일치가 발생한다. RAG는 결정론적 임베딩에 의존하여 검색의 불확실성을 정량화하지 못하며, 이로 인해 모델이 잘못된 정보에 대해 높은 확신을 갖는 현상이 나타난다. NAACL 2025 연구에 따르면 시스템이 90% 확신을 표명해도 실제 정답률은 50%에 불과할 수 있다. 이를 해결하기 위해 출력을 객관적 결과와 대조하여 검증된 데이터만 캐싱하는 루프 구조가 필수적이다.

모델에게 실행 전 스스로를 평가하게 하는 메타인지적 개입이 프롬프트 성능을 최적화한다. 작업을 시작하기 전 13가지 벡터로 자기 평가를 수행하고 실패한 접근 방식을 기록하면 예측 공간이 제약되어 엔트로피가 감소한다. NAACL 2024 연구는 메타인지 프롬프팅이 기존 기법들을 압도함을 입증했으며, 이는 인간의 피드백 없이도 객관적 증거를 통해 모델의 정책을 업데이트하는 효과를 낸다. 실패 기록 자체가 긍정적 증거만큼이나 정보 이론적으로 가치 있는 신호로 작용한다.

용어 해설

기대 보정 오차(ECE): — 모델이 예측한 확률(확신도)과 실제 정답률 사이의 차이를 측정하는 지표다. RAG 시스템에서 모델이 '90% 확신한다'고 답했으나 실제 정답률이 낮을 경우 ECE 값이 높게 나타나며, 이는 시스템의 신뢰성을 판단하는 핵심 근거가 된다.
어텐션 붕괴(Attention Collapse): — 긴 문맥을 처리할 때 트랜스포머 모델의 어텐션 스코어가 특정 중요 토큰에 집중되지 못하고 전체적으로 균일하게 퍼지는 현상이다. 이로 인해 시스템 프롬프트와 같은 핵심 지침이 문맥 속 노이즈에 묻혀 모델의 수행 능력이 급격히 저하된다.
메타인지 프롬프팅(Metacognitive Prompting): — 모델이 작업을 수행하기 전이나 과정 중에 자신의 지식 상태, 불확실성, 계획의 타당성을 스스로 평가하도록 유도하는 기법이다. 모델의 자가 점검 단계를 통해 추론 오류를 줄이고 복잡한 작업에서의 성공률을 높이는 데 기여한다.
인식적 상태(Epistemic State): — 특정 시점에 모델이 보유한 지식의 범위와 확실성 정도를 의미한다. 장기 세션에서 문맥을 압축하거나 초기화할 때 이 상태를 스냅샷으로 저장하고 재주입함으로써 에이전트의 일관성을 유지하는 데 활용된다.

언급된 도구

Empirica추천링크

AI 에이전트의 성능과 보정 오차(Calibration Error)를 측정하기 위한 오픈소스 프레임워크

Gemini 3 Pro중립

100만 토큰 이상의 장기 문맥에서 성능 저하 사례로 언급된 모델

언급된 리소스

GitHubEmpirica GitHub Repository