context-window
LLM이 한 번에 처리할 수 있는 텍스트 데이터의 최대 범위를 의미한다. 도구 호출 결과가 이 윈도우를 차지하면 모델의 추론 능력이 저하되거나 비용이 상승하므로, PTC와 같은 기법으로 이를 효율적으로 관리하는 것이 중요하다.
LLM이 한 번에 처리할 수 있는 텍스트 데이터의 최대 범위를 의미한다. 도구 호출 결과가 이 윈도우를 차지하면 모델의 추론 능력이 저하되거나 비용이 상승하므로, PTC와 같은 기법으로 이를 효율적으로 관리하는 것이 중요하다.