ControlLight: 제어 가능한 일관된 일반화 저조도 향상

단일 강화 강도에 의존하는 기존 저조도 향상 방법은 서로 다른 이미지에서 일관성과 제어를 보장하기 어렵다. Light100K를 통해 연속적인 조도 강도 지도(target)를 제공하고, Misalignment-Aware Weighted Flow Matching Loss(LwFM)로 입력-대상 간 구조를 유지한다. LoRA를 이용한 CONTROLLABLE 학습으로 s 값을 직접 모델에 주입해 연속적 제어를 달성하고, 실세계 시나리오에서의 일반화 성능과 시각적 일관성을 향상시킨다.

출발점: 기존 저조도 향상은 단일 강화 강도에 의한 학습으로 다양한 입력에서 일관성과 제어가 부족하다. Light100K는 실제 저조도 이미지에서 연속 강도(Labelled illumination strength) 구간을 커버하는 데이터로 컨트롤 가능한 학습 신호를 제공한다. 핵심 아이디어: Retinex 모델(I = R ⊙ L)을 이용한 illumination 보정과, 입력 구조를 보존하는 edge-중심 보간으로 continuous pseudo-GT를 구성한다. 이 보간 방식은 엣지 디테일의 변화 없이 조명만 점진적으로 바꿔주며, 엣지 손실이 적은 연속 경로를 만든다. 또한 Misalignment-Aware Weighted Flow Matching Loss(LwFM)는 I0와 I1 사이의 미세한 엣지 오차를 억제하고 입력 구조를 더 잘 유지하도록 설계됐다. 학습 측면에서 s를 LoRA 스케일로 직접 반영해, per-strength supervision으로 조도 경로를 물리적으로 근거 있는 연속 곡선으로 보정한다. 이로써 제어 가능한 연속 보정이 가능해지며, 실세계 데모에서도 일관성과 일반화가 개선된다.

Light100K 데이터 생성 파이프라인: I0에서 I1을 생성하기 위해 fixed enhancement prompt와 FLUX.2-klein-9B를 사용하고, Retinex 기반의 분해(R0,L0)과 (R1,L1)으로 조도 보정 경로를 구성한다. 조도 보정은 log 도메인에서 Ls = exp((1−s)log(L0)+s log(L1))로 보간하고, 반사 R은 Rs = (1−βs)R0 + βsR1으로 보완한다. 재구성 Is = clip(Rs ⊙ Ls, 0, 1)로 pseudo-GT를 얻고 s에 따라 I0..I1 시퀀스를 만든다. Misalignment-Aware LwFM은 이들 시퀀스에서 엣지 맵 B0, Bs와 D0를 계산해 Ms, Ws를 구하고 LwFM = sum_u Ws(u) ||vθ(zt, I0, s)(u) − v*(u)||^2 / sum_u Ws(u)로 정의한다. 제어 시나리오: W′ = W + s·AB로 LoRA 스케일을 학습하며, s는 각 강화 강도에 대응하는 pseudo GT와 함께 학습한다. 구현은 1024×1024 해상도, LoRA 랭크 64, 학습 스텝 3,000, 파라미터 약 317M, Optimizer AdamW, BF16, Flow Matching 기반 학습 스케줄을 따른다.

주요 벤치마크에서 도메인 특수 메서드 대비 최고 성능 혹은 유의미한 우수성을 보였고, Real-world 벤치마크에서도 일관된 개선을 확인했다. LOL-v1에서 NIQE, CLIPIQA, MANIQA, MUSIQ 등의 지표에서 기존 방법을 상회하는 경우가 많고, RealIR-Bench/LIME 등에 대해서도 우수한 비자-reference 지표를 달성했다. δsmooth와 CLIP-Dir를 이용한 Linear Control 평가에서 제어 경로의 선형성 및 의미적 방향성이 높은 점수를 기록했다. Ablation 연구에서 LwFM의 도입이 LI-LPIPS, NIQE, MANIQA, MUSIQ, CLIPIQA 등의 지표를 개선함을 확인했다. Retinex-based interpolation은 Alpha blending 대비 더 자연스러운 조도 전이를 제공한다. LO R A 기반 파인튜닝으로 학습한 ControlLight는 four-point control strengths에서 부드럽고 일관된 강화 곡선을 제공한다.

아키텍처: FLUX.2-klein-9B 기반 파인튜닝; LoRA 모듈을 DiT 블록에 적용, VAE 및 텍스트 인코더 고정. 데이터: Light100K에서 I0–I1 페어를 구성하고, 각 s마다 Is를 계산해 G = {I0, I0.2, I0.4, I0.6, I0.8, I1}로 학습에 사용. LFM/LwFM 손실: vθ(zt, I0, s) 및 v∗를 이용한 차이를 가중 평균하여 업데이트. 가중치 맵 Ws는 Ms(p) 및 D0(p) 기반으로 계산되어 불완전 엣지 영역의 감독 강도를 감소시킨다. Retinex 보간: Ls와 Rs의 보간으로 Illumination-전이와 Reflectance의 혼합 변화를 제어한다. 해상도 및 파라미터: 1024×1024, 317M trainable 파라미터, LoRA 랭크 64, 학습 스케줄 3,000 스텝. "S" 제어값은 LoRA 스케일에 직접 반영되며, s ∈ {0.2,0.4,0.6,0.8,1.0}에 대해 per-strength supervision 제공.