토큰 팽창

대화가 길어지거나 불필요한 정보가 컨텍스트에 계속 누적되어 모델 호출 시마다 사용하는 토큰 수가 급격히 늘어나는 현상이다. 이는 비용 증가와 지연 시간 악화의 원인이 된다.

관련 아티클 2건