VRAM Offload
VRAM 오프로드
VRAM 오프로드는 GPU 메모리가 부족할 때 모델 데이터나 KV cache 일부를 시스템 RAM으로 이동하는 처리입니다. VRAM 용량 제약을 넘길 수 있지만 GPU와 RAM 사이의 이동이 발생해 처리 시간이 급증할 수 있으므로, 실제 사용 가능한 context 길이를 별도로 측정해야 합니다.
VRAM 오프로드
VRAM 오프로드는 GPU 메모리가 부족할 때 모델 데이터나 KV cache 일부를 시스템 RAM으로 이동하는 처리입니다. VRAM 용량 제약을 넘길 수 있지만 GPU와 RAM 사이의 이동이 발생해 처리 시간이 급증할 수 있으므로, 실제 사용 가능한 context 길이를 별도로 측정해야 합니다.
