ControlLight: 제어 가능한 일관된 일반화 저조도 향상

왜 중요한가

단일 강화 강도에 의존하는 기존 저조도 향상 방법은 서로 다른 이미지에서 일관성과 제어를 보장하기 어렵다. Light100K를 통해 연속적인 조도 강도 지도(target)를 제공하고, Misalignment-Aware Weighted Flow Matching Loss(LwFM)로 입력-대상 간 구조를 유지한다. LoRA를 이용한 CONTROLLABLE 학습으로 s 값을 직접 모델에 주입해 연속적 제어를 달성하고, 실세계 시나리오에서의 일반화 성능과 시각적 일관성을 향상시킨다.

핵심 기여

Light100K 데이터셋 구축

실제 저조도 이미지와 구조 일관성 있는 가짜(target) 향상 이미지를 연속적으로 매핑하는 continuous pseudo-paired 데이터를 구성한다. 약 30K장의 저조도 이미지에서 시작해 edge-일관성 필터링으로 약 17,809쌍의 고일관성 I0/I1 페어를 얻고, I0, I0.2, I0.4, I0.6, I0.8, I1으로 구성된 연속 트랙을 만든다.

Misalignment-Aware Weighted Flow Matching(LwFM) 도입

타깃 엣지의 신뢰도에 따라 가중치를 다르게 부여해 구조 보존을 강화한다. 입력 엣지(B0)와 타깃 엣지(Bs) 간의 거리 변환 D0를 이용해 불완전 엣지를 식별하고, 불완전 엣지 인근은 가중치를 낮추어 잘 정렬된 엣지에만 강한 감독을 제공한다.

ControlLight 모델과 학습 전략

LoRA를 이용해 DiT 블록을 미세조정하고 W′ = W + s·AB 형태로 p에 해당하는 컨트롤 strength s를 학습 단계에서 직접 반영한다. s ∈ {0.2,0.4,0.6,0.8,1.0}마다 pseudo ground-truth Is를 매칭하고 LwFM으로 학습한다. 1024×1024 해상도에서 LoRA 모듈 약 300M 파라미터를 학습한다.

Retinex 기반 보정 인터폴레이션

I0과 I1의 조명 성분을 로그 도메인에서 보간하고, 반사 성분은 βs에 따라 보간해 Illumination-Consistent trajectory를 구성한다. 직접 RGB 혼합보다 조도 보정에 더 aligned된 트레이젝토리를 형성한다.

핵심 아이디어 이해하기

출발점: 기존 저조도 향상은 단일 강화 강도에 의한 학습으로 다양한 입력에서 일관성과 제어가 부족하다. Light100K는 실제 저조도 이미지에서 연속 강도(Labelled illumination strength) 구간을 커버하는 데이터로 컨트롤 가능한 학습 신호를 제공한다. 핵심 아이디어: Retinex 모델(I = R ⊙ L)을 이용한 illumination 보정과, 입력 구조를 보존하는 edge-중심 보간으로 continuous pseudo-GT를 구성한다. 이 보간 방식은 엣지 디테일의 변화 없이 조명만 점진적으로 바꿔주며, 엣지 손실이 적은 연속 경로를 만든다. 또한 Misalignment-Aware Weighted Flow Matching Loss(LwFM)는 I0와 I1 사이의 미세한 엣지 오차를 억제하고 입력 구조를 더 잘 유지하도록 설계됐다. 학습 측면에서 s를 LoRA 스케일로 직접 반영해, per-strength supervision으로 조도 경로를 물리적으로 근거 있는 연속 곡선으로 보정한다. 이로써 제어 가능한 연속 보정이 가능해지며, 실세계 데모에서도 일관성과 일반화가 개선된다.

방법론

Light100K 데이터 생성 파이프라인: I0에서 I1을 생성하기 위해 fixed enhancement prompt와 FLUX.2-klein-9B를 사용하고, Retinex 기반의 분해(R0,L0)과 (R1,L1)으로 조도 보정 경로를 구성한다. 조도 보정은 log 도메인에서 Ls = exp((1−s)log(L0)+s log(L1))로 보간하고, 반사 R은 Rs = (1−βs)R0 + βsR1으로 보완한다. 재구성 Is = clip(Rs ⊙ Ls, 0, 1)로 pseudo-GT를 얻고 s에 따라 I0..I1 시퀀스를 만든다. Misalignment-Aware LwFM은 이들 시퀀스에서 엣지 맵 B0, Bs와 D0를 계산해 Ms, Ws를 구하고 LwFM = sum_u Ws(u) ||vθ(zt, I0, s)(u) − v*(u)||^2 / sum_u Ws(u)로 정의한다. 제어 시나리오: W′ = W + s·AB로 LoRA 스케일을 학습하며, s는 각 강화 강도에 대응하는 pseudo GT와 함께 학습한다. 구현은 1024×1024 해상도, LoRA 랭크 64, 학습 스텝 3,000, 파라미터 약 317M, Optimizer AdamW, BF16, Flow Matching 기반 학습 스케줄을 따른다.

주요 결과

주요 벤치마크에서 도메인 특수 메서드 대비 최고 성능 혹은 유의미한 우수성을 보였고, Real-world 벤치마크에서도 일관된 개선을 확인했다. LOL-v1에서 NIQE, CLIPIQA, MANIQA, MUSIQ 등의 지표에서 기존 방법을 상회하는 경우가 많고, RealIR-Bench/LIME 등에 대해서도 우수한 비자-reference 지표를 달성했다. δsmooth와 CLIP-Dir를 이용한 Linear Control 평가에서 제어 경로의 선형성 및 의미적 방향성이 높은 점수를 기록했다. Ablation 연구에서 LwFM의 도입이 LI-LPIPS, NIQE, MANIQA, MUSIQ, CLIPIQA 등의 지표를 개선함을 확인했다. Retinex-based interpolation은 Alpha blending 대비 더 자연스러운 조도 전이를 제공한다. LO R A 기반 파인튜닝으로 학습한 ControlLight는 four-point control strengths에서 부드럽고 일관된 강화 곡선을 제공한다.

기술 상세

아키텍처: FLUX.2-klein-9B 기반 파인튜닝; LoRA 모듈을 DiT 블록에 적용, VAE 및 텍스트 인코더 고정. 데이터: Light100K에서 I0–I1 페어를 구성하고, 각 s마다 Is를 계산해 G = {I0, I0.2, I0.4, I0.6, I0.8, I1}로 학습에 사용. LFM/LwFM 손실: vθ(zt, I0, s) 및 v∗를 이용한 차이를 가중 평균하여 업데이트. 가중치 맵 Ws는 Ms(p) 및 D0(p) 기반으로 계산되어 불완전 엣지 영역의 감독 강도를 감소시킨다. Retinex 보간: Ls와 Rs의 보간으로 Illumination-전이와 Reflectance의 혼합 변화를 제어한다. 해상도 및 파라미터: 1024×1024, 317M trainable 파라미터, LoRA 랭크 64, 학습 스케줄 3,000 스텝. "S" 제어값은 LoRA 스케일에 직접 반영되며, s ∈ {0.2,0.4,0.6,0.8,1.0}에 대해 per-strength supervision 제공.

실무 활용

실세계 저조도 영상 복원에서 컨트롤 가능한 연속 강화와 구조 보존을 달성한다. LoRA를 이용한 경량화된 파인튜닝으로 모델의 유연성을 확보한다.

실세계 사진/영상 촬영 시 사용자가 원하는 길이의 밝기 조정 및 텍스처 보존 제공
휴대용 카메라/드론의 실시간 저조도 영상 개선 파이프라인에 적용
저조도 영상 편집 도구에서 연속적 밝기 보정 기능으로 편집 품질 향상
비디오 스트리밍의 조도 자동 보정 모듈에 응용

코드 공개 여부: 공개

코드 저장소 보기

키워드

low-light enhancementcontinuous illumination-strength supervisionRetinex-inspired interpolationLight100KMisalignment-Aware Weighted Flow Matching LossFlow matchingLoRAFLUX.2-klein

용어 해설

레티넥스(Retinex): — I=R⊙L 형태의 이미지 형성 모델로, R은 reflectance(반사 성분), L은 illumination(조명)을 나타낸다. 이 논문은 I0, I1의 L0, L1를 보정하고 R0, R1을 보존해 조명 분포를 연속적으로 보정하는 경로를 구성한다.
에지 검출(Edge Detection): — Sobel 등과 같은 고주파 엣지 정보를 추출하여 입력 이미지의 구조적 경계를 파악하는 방법이다.
로그-휘도(Log-Luminance): — 밝기 차이를 안정적으로 다루기 위해 밝기 정보를 로그 공간으로 변환해 엣지와 구조를 분석하는 표현이다.
플로우 매칭(Flow Matching): — 확률적 잠재 공간에서 속도 필드(v)와 타깃 간의 차이를 최소화하는 손실로, 연속적인 pseudo-GT에 대해 흐름 예측을 정렬하는 기법이다.
양방향 필터(Bilateral Filter): — 엣지 보존 스무딩으로 L0, L1의 illumination 맵을 만들어 조도 보정에 활용한다.

ControlLight: 제어 가능한 일관된 일반화 저조도 향상

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 기사

편집 개념 확장과 밀집 감독으로 이미지 편집 성능 높이기

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

실무 활용

키워드

관련 토론

댓글

관련 기사

편집 개념 확장과 밀집 감독으로 이미지 편집 성능 높이기