복원 지연 시간
압축된 데이터를 원래의 형태로 되돌리는 데 걸리는 시간이다. LLM 기반 압축에서는 모델 추론 시간이 이 지연 시간의 대부분을 차지하여 실시간 성능을 저해한다.
LLM으로 압축률은 극대화했지만 복원 속도가 고민이라면? 새로운 압축 기법 논의