Stable Diffusion ZiB 모델의 속도와 품질 최적화를 위한 2단계 샘플링 설정 공유

핵심 요약

ZiB 모델과 증류 LoRA를 결합하여 속도와 품질 사이의 최적의 절충안을 찾는 2단계 샘플링 워크플로와 구체적인 설정을 소개한다.

배경

Stable Diffusion ZiB 모델 사용 시 생성 속도를 높이면서도 바닐라 모델의 품질을 최대한 유지하기 위해 증류(Distill) LoRA와 2단계 샘플러 체이닝 기법을 실험한 결과를 공유했다.

의미 / 영향

이 토론은 저스텝 생성 기술(Distillation)이 발전하더라도 모델 본연의 표현력을 유지하기 위해서는 전통적인 샘플링 방식과의 하이브리드 접근이 필수적임을 보여준다. 특히 시그마 스케줄링의 미세 조정이 속도 최적화의 핵심 변수임이 확인됐다.

커뮤니티 반응

사용자들은 ZiB 모델의 고유한 화풍을 유지하면서 속도를 개선한 접근 방식에 긍정적인 반응을 보였으며, 공유된 워크플로의 시그마 설정에 대해 관심을 나타냈다.

실용적 조언

증류 LoRA 사용 시 초기 구도 잡기 단계(First Pass)에서는 LoRA를 끄고 CFG를 높게 설정하여 모델 본연의 지식을 활용하라.
생성 결과에 노이즈가 과하게 남는다면 eta 값을 0으로 조정하여 노이즈 제거 효율을 높여라.
ComfyUI에서 KJ Nodes와 Res4lyf Nodes를 설치하여 시그마 분할 및 샘플러 체이닝을 구현할 수 있다.

전문가 의견

증류 모델의 고질적인 문제인 '단조로운 구도'를 해결하기 위해 초기 샘플링 단계에서 증류를 배제하는 전략은 유효한 기술적 접근이다.

언급된 도구

ComfyUI추천

노드 기반 스테이블 디퓨전 워크플로 실행 환경

Z-Image-Fun-Lora-Distill추천

적은 스텝으로 생성을 가능하게 하는 증류 LoRA

KJ Nodes추천

워크플로 구현을 위한 커스텀 노드 세트

섹션별 상세

2단계 체인 샘플러(Chained KSamplers)를 활용한 워크플로를 제안했다. 첫 번째 단계에서는 증류 LoRA 없이 ZiB 모델만 사용하여 8단계를 수행하고, 두 번째 단계에서는 증류 LoRA를 0.8 강도로 적용하여 3단계를 추가로 수행한다. 이 방식은 생성 초기부터 증류 LoRA를 사용하는 것보다 구도와 조명 측면에서 바닐라 모델의 특성을 더 잘 보존한다.

구체적인 파라미터 튜닝 결과로 CFG 값과 시그마(Sigmas) 조절의 중요성을 강조했다. 첫 번째 패스에서는 CFG 5를 사용하고, 두 번째 패스에서는 CFG 1을 적용하며, 노이즈 잔류 문제로 인해 eta 값을 0으로 설정하는 것이 유리하다는 결과를 얻었다. 8+3이라는 적은 스텝을 사용하므로 시그마 곡선이 매우 민감하며, 스케줄러와 시프트(Shift) 설정 변경이 최종 결과에 큰 영향을 미친다.

제안된 설정은 바닐라 ZiB 모델(30스텝 이상)보다 약 3배 빠르면서도 단순 증류 방식보다 프롬프트 준수 능력이 뛰어났다. 특히 복잡한 조명이나 3/4 앵글 구도, 세부 묘사(거미줄 두께 등)에서 바닐라 모델의 강점을 유지했다. 다만 작성자는 완벽한 품질을 위해서는 여전히 바닐라 모델의 40스텝 설정이 가장 우수하다는 점을 덧붙였다.

실무 Takeaway

증류 LoRA를 생성 초기부터 사용하면 구도와 조명이 단순해지므로 후반부 3스텝 정도에만 적용하는 것이 효과적이다.
8단계(바닐라) + 3단계(증류 LoRA 0.8 강도) 조합이 속도와 품질의 가장 적절한 타협점이다.
저스텝 생성 시 노이즈를 억제하기 위해 eta 값을 0으로 설정하는 것이 권장된다.