WildRelight: 단일 이미지 재조명을 위한 실세계 벤치마크 및 물리 기반 적응

단일 이미지 재조명은 정보의 불완전성으로 인해 ill-posed 문제다. 실세계 조명은 대기 산란, 간접 조명, 재료 특성의 다양성으로 복잡하고 도메인 간 차이가 크다. WildRelight는 strict pixel-alignment와 HDR envmaps를 통해 Ground Truth를 제공하고, 물리적 제약 기반 추론과 테스트-타임 적응(TTA)을 결합한 도메인 적응 파이프라인으로 sim-to-real 갭을 실세계 데이터로 축소하는 가능성을 제시한다.

출발점: 단일 이미지 relighting은 관찰로부터 알베도, 기하학, 조명을 분리하는 ill-posed 문제이며, 실세계 조명은 복잡하고 도메인 간 차이가 크다. 해결 원리: DPS는 latent x0를 intrinsic 컴포넌트로 디코드하고, differentiable Cook–Torrance 렌더러를 사용해 L_render를 통해 관측 이미지와의 일치를 이끈다. 샘플링 중에는 gradient를 이용해 역전파 방향으로 latent를 업데이트하고, Split-Sum 근사로 조명을 근사한다. 달라지는 점: Temporal TTA를 통해 per-씬 조명 특성에 맞춘 self-supervised 적응을 가능하게 하며, LoRA로 파라미터를 과적합 없이 빠르게 조정한다. 이로써 시뮬레이션 기반 prior의 실세계 일반화 성능을 크게 개선하고, Global Finetuning 없이도 실세계 도메인에 근접한 결과를 달성한다.

<전체 접근> 물리 기반 역렌더링과 샘플링 기반 추론을 결합한 인퍼런스-타임 프레임워크를 제시한다. [패턴] 입력(latent x̂0) → intrinsic 예측(D(·)) → 렌더링(R(·, L)) 수행 → I_gt와의 차이를 L_render로 계산 → g_t를 통한 GD 업데이트를 통해 x_{t-1}를 얻는다 → 이 과정을 DDIM 샘플링 경로에서 반복한다 → Split-Sum 근사로 조명 계산의 복잡도를 관리한다.

주요 벤치마크 결과는 Zero-shot에서의 시뮬레-실세계 갭을 확인하고, Finetune된 DiffusionRenderer의 성능이 25.95 dB PSNR에 이르는 반면, DPS+TTA의 결합은 25.04 dB PSNR, 0.6829의 SSIM, 0.3453의 LPIPS를 달성한다. Baseline(Pre-trained) 21.63 dB에서 +DPS 22.58, +TTA 24.10, +DPS+TTA 25.04로 점진적 개선이 확인된다. 전체 실험에서 Zero-shot 대비 실세계 적합도가 크게 개선되며, 실시간(instance-specific) 도메인 적응의 가능성을 보여준다. 또한 25.95 dB의 supervised adaptation과의 차이는 있지만, DPS+TTA의 결과는 비용 효율적이며 재훈련 없이도 실세계 통계에 빠르게 맞춰진다.

아키텍처: VAE-D(·) + Diffusion UNet 기반의 DiffusionRenderer를 사용하되, VAE와 environment encoder는 frozen 상태에서 LoRA를 attention 및 출력 projection에 적용한다. 수식: L_render = || R(D( x̂0 ), L ) − I_gt ||^2; x_{t-1} ← x_{t-1} − ζ_t g_t, g_t = ∇_{x_t−1} L_render. Forward: L = L_noise + λ· LLPIPS(D(z0), Itarget). 손실은 픽셀 수준과 perceptual 정보를 함께 고려해 실제 질감을 보존한다. 차별점: synthetic pretrained priors의 한계를 극복하기 위해 Physics-guided DPS를 도입하고, Temporal TTA를 통해 실세계 조명 변화에 맞춘 self-supervised 적응을 수행한다. 구현상: LoRA 랭크 r=8, attention 및 여러 projection 레이어에 adapters를 삽입; G-buffer 구성 요소(basecolor, normal, depth, roughness, metallic)를 frozen VAE로 인코딩한 뒤, 환경 맵의 세 representation을 환경 인코더로 처리해 cross-attention으로 UNet의 다층 피처에 주입한다. 평가 시 글로벌 스케일 정렬(α 최적화)로 PSNR/SSIM/LPIPS를 비교한다.

논문은 dynamic scene elements의 마스킹이 필요한 점과, 30개 씬의 제한된 데이터세트 규모를 한계로 제시한다. 또한 물리 기반 추론의 정확성은 envmap의 캡처 타이밍 및 실제 햇빛의 시간적 변동성에 의해 약간의 오차가 존재할 수 있다. 향후 연구에서는 동적 요소를 직접 모델링하는 방향이 제시된다.