cpu-offloading
CPU 오프로드
GPU 메모리 한계로 인해 일부 연산이나 중간 결과를 GPU가 아닌 CPU 메모리와 처리로 옮기는 기법이다. 데이터와 텐서를 CPU로 이동하거나 메모리 매핑을 통해 GPU 피크 사용량을 낮추며, 이 과정에서 PCIe/버스 전송 비용이 추가되어 처리 지연이 발생한다. 제한된 VRAM 환경에서 모델을 실행 가능하게 만드는 실무적 해결책으로 활용된다.
CPU 오프로드
GPU 메모리 한계로 인해 일부 연산이나 중간 결과를 GPU가 아닌 CPU 메모리와 처리로 옮기는 기법이다. 데이터와 텐서를 CPU로 이동하거나 메모리 매핑을 통해 GPU 피크 사용량을 낮추며, 이 과정에서 PCIe/버스 전송 비용이 추가되어 처리 지연이 발생한다. 제한된 VRAM 환경에서 모델을 실행 가능하게 만드는 실무적 해결책으로 활용된다.
