re-prefill
재프리필
LLM에 긴 컨텍스트를 다시 전송하고 내부 상태를 재계산하는 절차로, 클라우드 API에서 세션 재개 시 전체 대화 히스토리를 다시 프리필해야 할 때 발생한다. 재프리필은 특히 수만 토큰에 가까운 문맥에서 수십 초 이상의 지연을 유발할 수 있으며, 로컬 런타임의 KV-cache 복원으로만 회피가 가능하다. 게시글은 재프리필 소요 시간을 실제 기기 측정치로 제시하여 재개 전략의 성능 차이를 정량화했다.
재프리필
LLM에 긴 컨텍스트를 다시 전송하고 내부 상태를 재계산하는 절차로, 클라우드 API에서 세션 재개 시 전체 대화 히스토리를 다시 프리필해야 할 때 발생한다. 재프리필은 특히 수만 토큰에 가까운 문맥에서 수십 초 이상의 지연을 유발할 수 있으며, 로컬 런타임의 KV-cache 복원으로만 회피가 가능하다. 게시글은 재프리필 소요 시간을 실제 기기 측정치로 제시하여 재개 전략의 성능 차이를 정량화했다.
