SD WebUI Forge에서 VRAM 충돌 후 발생한 ControlNet 품질 저하 문제 해결 방법 문의

핵심 요약

RTX 5080 환경에서 Flowframes와 동시 실행 중 발생한 OOM 충돌 이후, SD WebUI Forge의 ControlNet 출력물이 영구적으로 노이즈가 섞이고 열화되는 현상에 대한 기술적 도움을 요청하고 있다.

배경

사용자가 RTX 5080 환경에서 SD WebUI Forge로 이미지 생성 중 Flowframes를 실행하다 VRAM 부족(OOM)으로 시스템이 충돌했다. 이후 드라이버 재설치와 가상환경(venv) 초기화 등 광범위한 조치를 취했음에도 ControlNet의 선 추출 품질이 영구적으로 저하된 상태로 유지되어 해결책을 찾고 있다.

의미 / 영향

VRAM 충돌이 발생한 후에는 단순한 앱 재설치보다 하위 레벨의 캐시나 프레임워크 설정 확인이 필수적이다. 특히 여러 AI 도구를 동시에 사용할 때 발생하는 리소스 경합은 시스템 전반의 연산 무결성에 영향을 줄 수 있음을 시사한다.

커뮤니티 반응

사용자가 매우 구체적인 기술적 데이터를 제공했음에도 불구하고, 일반적인 해결책이 모두 실패한 상황이라 커뮤니티에서도 심층적인 원인 분석이 필요한 문제로 인식하고 있다.

주요 논점

01중립다수

하드웨어 충돌이 소프트웨어 설정이나 캐시 데이터에 영구적인 손상을 입혔을 가능성이 높다.

합의점 vs 논쟁점

합의점

단순한 UI 재설치나 드라이버 업데이트로는 해결되지 않는 심층적인 캐시 오염 가능성이 존재한다.

실용적 조언

NVIDIA ComputeCache 삭제 외에도 PyTorch 관련 임시 파일이나 셰이더 캐시를 완전히 초기화해야 한다.
Forge의 config.json 파일 내부에 충돌 당시 기록된 비정상적인 파라미터가 남아있는지 확인이 필요하다.

언급된 도구

SD WebUI Forge중립

이미지 생성 및 추론 인터페이스

ControlNet중립

이미지 구조 및 선 제어 확장 기능

Flowframes비추천

비디오 프레임 보간 AI

섹션별 상세

VRAM OOM 충돌 이후 발생한 비정상적인 이미지 열화 현상을 설명했다. 이전에는 깨끗했던 ControlNet의 선 추출 결과물이 충돌 이후 갑자기 거칠고 노이즈가 심하며 '타버린' 듯한 픽셀화 현상을 보이고 있다. Control Weight를 0.3까지 낮추면 증상이 완화되지만 근본적인 선의 품질 저하는 해결되지 않는 상황이다.

사용자가 이미 시도한 광범위한 하드웨어 및 소프트웨어 점검 내역을 공유했다. NVIDIA 스튜디오 드라이버 클린 설치, venv 폴더 삭제 후 재구축, NVIDIA 컴퓨트 캐시 삭제, VAE 로드 확인 등 일반적인 해결책을 모두 적용했으나 효과가 없었다. 특히 Forge가 FP8 모드로 강제 전환되지 않았음을 콘솔 로그를 통해 확인하며 메모리 관리 설정의 무결성을 강조했다.

충돌의 원인이 된 Flowframes와 SD Forge 간의 상호작용 가능성을 제기했다. 두 AI 도구가 동시에 VRAM을 점유하려다 발생한 강력한 충돌이 Windows 레지스트리, 숨겨진 PyTorch 캐시, 또는 Forge 내부 설정 파일 중 어떤 부분을 영구적으로 손상시켰을 가능성에 대해 커뮤니티의 조언을 구하고 있다.

실무 Takeaway

VRAM OOM 충돌이 단순한 소프트웨어 재시작으로 해결되지 않는 영구적인 설정 변형을 초래할 수 있다.
드라이버나 venv 재설치만으로는 해결되지 않는 딥러닝 프레임워크의 숨겨진 캐시나 레지스트리 문제가 의심된다.
고성능 GPU(RTX 5080)에서도 다중 AI 툴 실행 시 발생하는 리소스 충돌은 예상치 못한 시스템 무결성 문제를 일으킬 수 있다.