ComfyUI에서 이미지 훼손 없이 영화적 색보정을 구현하기 위한 기술적 시도와 한계

핵심 요약

ComfyUI 환경에서 Flux와 SDXL을 활용해 원본의 구조적 무결성을 유지하면서도 창의적인 영화적 색보정을 적용하기 위한 다양한 워크플로우 실험과 그 한계를 공유한다.

배경

사용자가 ComfyUI를 통해 전문적인 영화 색보정 파이프라인을 구축하려 했으나, 기존 LUT 방식의 단순함과 AI 모델 적용 시 발생하는 이미지 변형 문제를 해결하기 위해 커뮤니티에 기술적 자문을 구했다.

의미 / 영향

현재 범용 AI 모델들은 색상과 형태를 분리하여 인식하는 능력이 부족하여 정밀한 색보정 작업에는 한계가 있다. 향후 색상 전용 LoRA나 제어 레이어의 발전이 실무 적용의 핵심이 될 것으로 보인다.

커뮤니티 반응

작성자는 구체적인 기술적 시도와 실패 사례를 공유하며 매우 분석적인 태도를 보이고 있으며, 커뮤니티의 전문적인 조언을 기대하고 있다.

실용적 조언

이미지 구조를 완벽히 유지해야 한다면 YUV 분리 기법을 사용하여 휘도 채널을 고정하고 색상 채널만 AI로 변환하는 방식을 고려하라.
ControlNet Canny보다는 구조를 덜 파괴하는 다른 제어 모델이나 전처리된 잠재 공간(Pre-blended Latent) 활용을 검토하라.

전문가 의견

YUV 분리 기법을 통해 휘도(Luminance)를 고정하는 방식이 구조 보존에는 가장 효과적이지만, 실시간 워크플로우를 위해서는 처리 속도 최적화가 필수적이다.

언급된 도구

ComfyUI추천

노드 기반의 Stable Diffusion 인터페이스

Flux중립

최신 이미지 생성 AI 모델

ControlNet중립

이미지 구조 및 조건 제어 도구

IP-Adapter중립

이미지 스타일 및 구도 전이 도구

섹션별 상세

Flux 모델을 이용한 img2img 및 Kontext 접근 방식의 한계가 확인됐다. 낮은 디노이즈(Denoise) 설정에서는 원본 이미지는 보존되지만 색상 프롬프트가 무시되고, 높은 설정에서는 색상은 변하지만 이미지의 내용이 파괴되는 '색상과 콘텐츠의 얽힘(Entanglement)' 현상이 발생한다. 이는 모델이 색상 정보를 독립적인 레이어로 인식하지 못하고 전체 픽셀 구조와 결합하여 처리하기 때문에 발생하는 문제이다.

ControlNet(Canny/Tile)과 Flux를 조합한 시도 역시 만족스럽지 못한 결과를 냈다. Canny를 사용하면 이미지가 유화처럼 변하는 경향이 있고, Tile 방식은 전문적인 색보정이라기보다 우연한 색상 변화에 가까운 결과물을 생성하여 실무 적용에 어려움이 있다. 사용자는 이러한 방식이 정교한 색상 제어보다는 이미지의 재구성에 가깝다는 점을 지적했다.

SDXL IP-Adapter StyleComposition을 활용해 LUT가 적용된 참조 이미지를 스타일로, 원본을 구도로 설정하는 실험이 진행됐다. 낮은 가중치에서는 효과가 미미하고 높은 가중치에서는 아티팩트가 발생하며, ControlNet Canny를 추가해 구조를 고정하더라도 SDXL 특유의 부드러워지는(Smoothing) 현상이 나타나는 한계가 확인됐다. 이는 스타일 전이 과정에서 원본의 세밀한 텍스처가 손실됨을 의미한다.

YUV 분리 기법을 통해 원본의 휘도(Luminance)를 유지하고 AI 출력물에서 색도(Chrominance)만 가져오는 방식이 가장 효과적이었으나, 이미지당 약 84초가 소요되는 속도 문제가 제기됐다. 또한 35개의 서로 다른 .cube LUT를 ColorMatch MKL로 처리했을 때 통계적 전이 과정에서 결과물이 균일화되어 고유한 특성이 사라지는 문제도 언급됐다. 단순한 수학적 일치보다는 AI의 창의적 해석이 필요하다는 결론에 도달했다.

실무 Takeaway

현재의 범용 AI 모델들은 색상(Color)과 콘텐츠(Content)를 강하게 결합하여 인식하기 때문에 독립적인 색보정 제어가 어렵다.
단순한 LUT 적용이나 통계적 색상 일치 방식은 AI의 창의적인 해석을 담아내지 못하고 결과물을 획일화시키는 경향이 있다.
YUV 분리를 통한 휘도 보존 방식이 구조 유지에는 유리하지만 처리 속도 개선과 워크플로우 최적화가 필수적이다.
전문적인 색보정을 위해서는 색상에 특화된 LoRA 학습이나 전용 스타일 전이 모델과 같은 새로운 접근 방식이 요구된다.