ICL 붕괴: 인컨텍스트 학습이 생성 전 인식 신호를 파괴하는 방식

섹션별 상세

인컨텍스트 학습 과정에서 입력된 예시들이 모델의 사전 학습된 지식 체계를 압도하는 현상이 발생한다. ICL 붕괴는 모델이 컨텍스트의 통계적 패턴에 과적합되면서 원래 보유한 인식 신호(Epistemic Signal)를 상실하는 과정으로 정의된다. 실험을 통해 컨텍스트의 양이 증가할수록 모델의 내부 로짓(Logit) 분포가 사전 지식에서 멀어지는 경향이 수치적으로 증명됐다. 이는 모델이 논리적 추론 대신 단순한 패턴 복제에 집중하게 만드는 부작용을 낳는다.

모델 내부의 어텐션 메커니즘이 사전 학습된 가중치보다 입력된 토큰 간의 관계에 과도하게 집중하면서 정보 왜곡이 일어난다. 특정 임계치 이상의 예시가 주어지면 모델은 자신의 내부 지식을 무시하고 컨텍스트의 오류까지 그대로 수용하는 특성을 보인다. 벤치마크 테스트 결과, 부적절한 예시 삽입 시 모델의 정답률이 무작위 선택 수준으로 급락하는 현상이 관찰됐다. 따라서 모델의 성능을 유지하기 위해서는 컨텍스트와 사전 지식 사이의 균형을 맞추는 정교한 프롬프트 설계가 필수적이다.

용어 해설

인컨텍스트 학습(In-Context Learning): — 모델의 가중치를 직접 수정하지 않고 프롬프트 내에 포함된 몇 가지 예시(Few-shot)를 통해 모델이 새로운 작업을 수행하도록 유도하는 기법이다. 별도의 파인튜닝 없이도 즉각적인 성능 향상을 꾀할 수 있어 LLM 활용의 핵심으로 꼽힌다.
인식 신호(Epistemic Signal): — 모델이 특정 정보나 정답에 대해 내부적으로 가지고 있는 확신의 강도 또는 지식의 명확성을 의미한다. 사전 학습 과정에서 형성된 이 신호는 모델이 외부 정보 없이도 올바른 판단을 내릴 수 있게 돕는 근거가 된다.
퓨샷 프롬프팅(Few-shot Prompting): — 프롬프트에 해결하려는 문제와 유사한 예시 데이터를 몇 개 포함시켜 모델의 추론 방향을 가이드하는 방식이다. 모델이 작업의 형식과 의도를 빠르게 파악하게 하여 제로샷(Zero-shot)보다 높은 정확도를 달성하는 데 사용된다.

기술

LLM
ICL
Attention Mechanism

활용 사례

RAG 시스템 최적화
퓨샷 프롬프트 설계
모델 추론 신뢰성 평가

언급된 리소스

논문ICL Collapse: How In-Context Learning Destroys the Pre-Generative Epistemic Signal