EditCrafter: 사전 학습된 확산 모델을 활용한 튜닝 없는 고해상도 이미지 편집

기존 확산 모델 기반 편집 방식은 학습 해상도(512px 또는 1024px)를 벗어나면 객체가 반복되거나 구조가 붕괴되는 한계가 있었습니다. 이 논문은 별도의 추가 학습이나 최적화 없이도 임의의 종횡비와 4K 수준의 초고해상도 이미지를 원본의 디테일을 유지하며 텍스트로 편집할 수 있는 프레임워크를 제시합니다.

기존의 Diffusion Model은 고정된 해상도 데이터로 학습되므로, 이보다 큰 이미지를 입력하면 모델이 학습 시 보았던 '객체의 크기' 개념과 충돌하여 동일한 물체를 여러 번 그리는 반복 문제가 발생합니다. 이는 모델의 Receptive Field가 이미지 전체를 아우르지 못하고 국소적인 패턴에만 집중하기 때문입니다.

EditCrafter는 이 문제를 해결하기 위해 Kernel Dilation 개념을 활용합니다. 이는 필터 사이의 간격을 벌려 연산함으로써 파라미터 수는 유지하되 모델이 한 번에 볼 수 있는 영역을 고해상도 이미지 크기에 맞춰 확장하는 원리입니다. 이를 통해 모델은 이미지 전체의 구조적 맥락을 파악하며 일관된 편집을 수행할 수 있습니다.

또한, 고해상도 이미지를 편집 가능한 상태로 변환하기 위해 이미지를 타일 단위로 나누어 처리하는 Tiled Inversion을 수행합니다. 단순히 합치는 것이 아니라, NDCFG++라는 정교한 가이드 방식을 적용해 타일 간의 경계면을 매끄럽게 처리하고 텍스트 명령어가 이미지 전체에 정확히 반영되도록 유도합니다.

전체 프로세스는 Tiled DDIM Inversion과 고해상도 샘플링의 두 단계로 구성된다. 먼저 입력 이미지 x₀를 타일 크기 S로 분할하고 각 타일을 개별적으로 DDIM Inversion하여 잠재 변수 z_T를 얻는다. 이때 텍스트 조건의 영향을 최소화하기 위해 가이드 스케일 ω를 0으로 설정하여 원본의 디테일을 온전히 보존한다.

샘플링 단계에서는 확장된 커널을 가진 U-Net을 사용한다. [입력 잠재 변수 z_t → Dilated Convolution 연산 → 노이즈 예측값 ϵ] 과정을 거치는데, 이때 일반 노이즈 추정기 ϵθ와 확장 커널 추정기 ϵ˜θ를 결합한 NDCFG++를 적용한다. 이는 [ϵ_uncond + λ(ϵ_cond - ϵ_uncond)] 형태로 계산되어, 작은 가이드 스케일 λ를 통해 데이터 매니폴드를 벗어나지 않으면서도 정밀한 편집을 가능하게 한다.

최종적으로 역확산 과정(Reverse Process)을 통해 z_T에서 x₀로 복원하며, 초기 단계(t ≤ τ)에서는 NDCFG++를 사용하고 이후 단계에서는 일반적인 CFG++를 사용하여 이미지의 일관성과 품질을 동시에 확보한다.

실험 결과, EditCrafter는 SD 2.1 및 SDXL 모델 모두에서 4K(4096×4096) 해상도까지 성공적인 편집 성능을 보였다. 정량적 평가에서 ImageReward, HPSv2, CLIPScore 등 주요 지표 모두 기존의 최신 기법인 CSD(Collaborative Score Distillation)를 크게 상회했다. 특히 SDXL 16배 확장(4K) 설정에서 CLIPScore 34.49를 기록하며 CSD(32.84) 대비 우수한 텍스트 정렬도를 입증했다.

사용자 선호도 조사에서도 EditCrafter는 72.61%의 선택을 받아 CSD(27.39%)를 압도했다. 시각적 분석 결과, 기존 방식에서 흔히 나타나는 객체 반복(예: 호랑이 머리에 판다가 생기는 현상)이나 타일 경계면의 흰색 격자 아티팩트가 발생하지 않음을 확인했다.

본 연구의 핵심은 고해상도 잠재 공간에서의 역전파(Inversion)와 샘플링 시 발생하는 노이즈 분포의 불일치를 해결하는 것이다. Tiled DDIM Inversion은 각 타일의 잠재 변수를 독립적으로 추출한 뒤 결합하여 고해상도 초기값 z_T*를 형성한다. 이는 전체 이미지를 한 번에 처리할 때 발생하는 메모리 부족 문제를 해결하면서도 원본의 구조 정보를 효과적으로 유지한다.

NDCFG++는 기존 ScaleCrafter의 NDCFG를 개선한 것으로, ϵ_uncond를 vanilla noise estimator에서 추출하여 샘플링 궤적을 더욱 부드럽게 만든다. 수식적으로는 t ≤ τ 구간에서 ϵ˜λ_c(z_t) = ϵ∅(z_t) + λ[ϵ˜c(z_t) - ϵ˜∅(z_t)]를 사용하여, 확장된 커널에 의한 노이즈 예측값이 데이터 분포(Manifold)를 벗어나는 현상을 방지한다.

구현 측면에서 RTX 4090 단일 GPU로 4K 편집이 가능함을 보였으며, 해상도에 따라 VRAM 사용량은 3.8GB(1K)에서 18.2GB(4K) 사이로 측정되어 실용적인 하드웨어 요구사항을 충족한다.

논문에서는 명시적인 한계점을 구체적으로 언급하지 않았으나, 실험 설정에서 가이드 스케일 λ와 전환 시점 τ를 해상도에 따라 수동으로 조정(예: 4배는 10, 8/16배는 37)해야 한다는 점이 구현 세부사항에 포함되어 있습니다.