context-window-bloat
컨텍스트 윈도우 비대화
대화가 진행됨에 따라 이전 대화 기록이나 도구 실행 결과가 누적되어 모델이 처리해야 할 데이터 양이 급격히 늘어나는 현상입니다. 이는 API 호출 비용 상승의 주된 원인이 되며, 모델의 추론 성능을 저하시키는 요인이 되기도 합니다.
컨텍스트 윈도우 비대화
대화가 진행됨에 따라 이전 대화 기록이나 도구 실행 결과가 누적되어 모델이 처리해야 할 데이터 양이 급격히 늘어나는 현상입니다. 이는 API 호출 비용 상승의 주된 원인이 되며, 모델의 추론 성능을 저하시키는 요인이 되기도 합니다.
