적응형 예산 할당 (adaptive-budget-allocation) 용어 설명 | AI Trends
adaptive-budget-allocation
적응형 예산 할당
중급
전체 KV 캐시 예산을 레이어별 누적 엔트로피 비중에 따라 비례 분배하는 전략으로, 불균일한 레이어별 정보량을 반영하여 더 정보가 풍부한 레이어에 더 많은 토큰을 보존한다. 논문은 이 방식이 일부 모델에서 성능을 개선하는 반면 다른 모델에서는 불안정성을 초래할 수 있음을 보고했다. 기본 설정은 일관성 측면에서 균일 할당이다.