token-probability-collapse
토큰 확률 붕괴
LLM이 다음 토큰을 예측할 때 특정 토큰의 확률이 비정상적으로 높아져 동일한 출력을 반복하게 되는 현상이다. 모델이 자신의 이전 출력을 컨텍스트로 참조하면서 반복이 자기강화되어 무한 루프에 빠지게 된다. 이는 시스템 리소스 고갈과 지연 시간 급증의 원인이 된다.
토큰 확률 붕괴
LLM이 다음 토큰을 예측할 때 특정 토큰의 확률이 비정상적으로 높아져 동일한 출력을 반복하게 되는 현상이다. 모델이 자신의 이전 출력을 컨텍스트로 참조하면서 반복이 자기강화되어 무한 루프에 빠지게 된다. 이는 시스템 리소스 고갈과 지연 시간 급증의 원인이 된다.
