LLM 추론 엔진의 KV 캐시 퇴거 문제와 비용 최적화 사례

유사한 KV 캐시 퇴거 문제를 겪은 사용자들의 공감과 함께, 추론 엔진의 투명한 계측 기능 부재에 대한 비판이 제기되었다.

• 캐시 적중률 지표만 믿지 말고, 턴 간격에 따른 TTFT 변화를 측정하여 실제 캐시 재사용률을 검증하라.
• 멀티턴 에이전트 워크로드에서는 RadixAttention을 지원하는 엔진이나 계층적 캐시 풀을 제공하는 호스팅 서비스를 고려하라.

• 대시보드의 캐시 적중률 지표는 실제 물리적 재사용률과 다를 수 있으므로 TTFT와 프리필 토큰 수를 비교하여 캐시 효율을 검증해야 한다.
• 멀티턴 에이전트 워크로드에서는 턴 사이의 KV 캐시 퇴거가 비용 증가의 주원인이므로, RadixAttention이나 계층적 캐시 풀을 사용하여 캐시를 유지하는 전략이 필요하다.
• 서로 다른 모델 간의 KV 캐시 재사용은 토크나이저와 레이어 차원 불일치로 인해 여전히 해결하기 어려운 기술적 과제이다.