token-cost-optimization

LLM API 사용 시 과금 기준이 되는 토큰의 양을 최소화하여 운영 비용을 줄이는 전략이다. 불필요한 시스템 프롬프트 반복을 피하거나 대화 이력을 요약하여 전송함으로써 동일한 품질의 응답을 더 적은 비용으로 얻어낸다. 특히 대규모 대화 시스템이나 RAG 파이프라인에서 경제적 타당성을 확보하기 위해 필수적으로 고려된다.