ComfyUI SeedVR2 8GB VRAM 환경에서의 VAE 인코딩 메모리 부족(OOM) 문제 분석

핵심 요약

RTX 5060(8GB) 환경에서 SeedVR2 GGUF 모델 사용 시 VAE 인코딩 단계에서 발생하는 메모리 부족 문제를 로그와 함께 공유하며 해결책을 모색하는 게시물이다.

배경

사용자가 RTX 5060(8GB VRAM) 노트북에서 ComfyUI와 SeedVR2를 사용하던 중, 재설치 후 동일한 설정임에도 VAE 인코딩 단계에서 OOM(Out of Memory) 오류가 발생하여 커뮤니티에 도움을 요청했다.

의미 / 영향

8GB VRAM 환경에서 SeedVR2와 같은 최신 모델을 사용할 때는 DiT 모델의 크기뿐만 아니라 VAE 단계의 해상도 설정이 결정적인 병목 현상을 일으킨다. 특히 업스케일링 시 입력 해상도가 임계치를 넘으면 타일링 기법 없이는 물리적 메모리 한계를 극복하기 어렵다.

커뮤니티 반응

사용자가 상세한 로그를 제공했으나 아직 구체적인 커뮤니티 답변은 달리지 않은 상태이며, 사용자는 모든 설정을 동일하게 맞췄음에도 발생하는 현상에 당혹감을 표하고 있다.

주요 논점

01중립다수

해상도 설정이 8GB VRAM의 한계를 초과했을 가능성이 높으며 VAE 타일링 설정 확인이 필요하다.

실용적 조언

입력 해상도(shortest edge)를 2424px에서 더 낮은 값으로 줄여서 테스트할 것
VAE 타일링(Tiled VAE) 옵션이 활성화되었는지 확인하고 타일 크기를 더 작게 조정할 것
백그라운드에서 VRAM을 점유 중인 다른 프로세스가 있는지 확인할 것

언급된 도구

ComfyUI추천

Stable Diffusion 노드 기반 GUI

SeedVR2중립

비디오 생성 및 업스케일링 모델

GGUF추천

모델 양자화 및 효율적 추론 포맷

섹션별 상세

사용자는 RTX 5060 8GB VRAM 노트북 환경에서 SeedVR2 Q6 GGUF 모델을 사용하던 중 ComfyUI 재설치 이후 OOM 오류가 발생했다. 사용자는 3b 모델 변경, 타일 크기 조정, CPU 오프로드 등 다양한 최적화 설정을 시도했으나 해결에 실패했다. 이전 버전으로 롤백해도 동일한 증상이 나타나며 원인을 파악하지 못하고 있다.

로그 분석 결과 오류는 VAE 인코딩 단계에서 발생하며 1616x2016px 입력을 2432x3024px로 처리하려 시도했다. 시스템은 4.05 GiB를 점유한 상태에서 3.51 GiB를 추가 할당하려다 7.96 GiB 한계에 도달해 중단됐다. CUDA 보고 기준 가용 메모리가 0바이트로 나타나 메모리 파편화나 타 프로세스 점유 가능성도 존재한다.

사용자는 이전과 동일한 설정이라고 주장하지만 로그상 타겟 해상도가 2424px(짧은 축)로 매우 높게 설정되어 있다. 이는 8GB VRAM 환경에서 VAE가 감당하기 어려운 수준이며 설정값의 의도치 않은 변경이 의심된다. 특히 1프레임 처리임에도 불구하고 요구되는 메모리량이 물리적 한계치에 근접해 있다.

실무 Takeaway

VAE 인코딩 단계는 해상도에 비례하여 VRAM 소모량이 기하급수적으로 증가한다.
8GB VRAM 환경에서 2400px 이상의 고해상도 업스케일링은 VAE 타일링 없이는 처리가 불가능하다.
GGUF를 통한 DiT 모델 경량화만으로는 전체 파이프라인의 메모리 부족 문제를 완전히 해결할 수 없다.