16GB GPU에서 FP16 모델 실행을 위한 ComfyUI용 VRAM 페이징 도구

실용적 조언

GGUF Q4의 품질에 만족한다면 기존 방식을 유지하는 것이 속도 면에서 유리하며, 최상의 화질이 필요한 경우에만 이 도구를 사용하는 것이 권장된다.
Wan 2.2 14B 모델과 LoRA를 함께 사용하는 환경에서 안정성을 확인했으므로 해당 워크플로우에 우선 적용해 볼 수 있다.

16GB VRAM 환경에서 14B 규모의 대형 모델을 FP16 정밀도로 구동하는 것은 메모리 용량 한계로 인해 불가능에 가까웠다. 이 도구는 가중치를 시스템 메모리에 저장해 두었다가 필요할 때만 GPU로 전송하는 페이징 기법을 적용하여 이 문제를 해결했다.

데이터 전송 효율을 높이기 위해 PCIe 버스를 통과할 때 가중치를 압축하고 GPU 내부에서 압축을 해제하는 메커니즘을 사용한다. 이를 통해 전송 데이터 크기를 줄여 대역폭 병목을 완화하고 GPU 메모리 점유율을 동적으로 관리한다.

Wan 2.2 14B 모델을 대상으로 한 테스트에서 LoRA와 함께 정상 작동하는 것이 확인됐다. GGUF Q4와 같은 저비트 양자화 방식보다 추론 속도는 느리지만, 양자화로 인한 화질 저하 없이 원본 모델의 정밀도를 유지할 수 있다는 점이 실무적 가치이다.

16비트 부동 소수점(FP16): — 16비트 부동 소수점 정밀도로 모델의 가중치를 저장하는 방식이다. 32비트 대비 메모리 사용량을 절반으로 줄이면서도 모델 성능을 거의 유지하며, 현재 딥러닝 추론의 표준 정밀도로 널리 쓰인다.
VRAM 페이징(VRAM Paging): — GPU의 비디오 메모리가 부족할 때 시스템 메모리(RAM)를 활용하여 데이터를 교체하며 처리하는 기술이다. 메모리 한계를 넘는 대형 모델을 실행할 수 있게 해주지만, 데이터 전송 속도 차이로 인해 성능 저하가 발생한다.
PCIe 전송(PCIe Transfer): — 메인보드의 PCIe 슬롯을 통해 CPU와 GPU 간에 데이터를 주고받는 과정이다. 대형 모델의 가중치를 GPU로 로드할 때 이 전송 속도가 전체 추론 속도의 병목 지점이 되는 경우가 많다.
GGUF 포맷(GGUF): — 모델 가중치를 양자화하여 파일 크기를 줄이고 CPU/GPU에서 효율적으로 실행할 수 있도록 설계된 파일 형식이다. 주로 메모리가 부족한 환경에서 모델을 구동하기 위해 사용된다.

vram-pager추천링크

ComfyUI용 VRAM 페이징 및 가중치 압축 도구

ComfyUI중립

노드 기반 스테이블 디퓨전 인터페이스