M2Retinexformer: 멀티-모달 Depth/Luminance/Semantic 정보를 활용한 저조도 이미지 향상용 Retinexformer 확장

저조도 이미지 향상은 RGB 정보만으로는 노이즈 억제와 색상 보정이 충분치 않다. Depth는illumination에 민감하지 않는 기하 정보를 제공하고, luminance 및 semantic features는 밝기 분포와 객체 경계를 보존하는 지침을 제공한다. Cross-attention 기반의 멀티모달 융합과 adaptive gating은 이질적 모달리티를 효과적으로 조합해 Retinexformer의 한계를 극복한다.

:[

Overall, M2Retinexformer는 Retinexformer의 ORF를 확장한다. Illumination Estimator E는 입력 I와 luminance prior Lp를 받아 Ilu와 Flu를 산출하고, Restorer R은 Ilu와 Flu를 이용해 최종 이미지 Ien을 생성한다. Modality Extractor는 Depth, Luminance, Semantic Features를 다중 스케일(s ∈ {0,1,2})에서 추출하고 Fin에 맞춘 F^s_m로 정렬한다. MMCAB는 Fin과 F^s_m를 scale s에서 cross-attention으로 융합하며, Self-Attn은 V ⊙ Flu를 이용한 Illumination-Guided 방식으로 작동한다. Am = softmax(QK^T / sqrt(C′)) Vm 형태의 cross-attention을 통해 각 모달리티 정보를 얻고, S = softmax(QK^T / sqrt(C′)) (V ⊙ Flu) 형태의 Self-Attn을 통해 RGB 피처를 보정한다. U = ∑_m gm ⊙ Am, gm = σ(WmX + bm)로 모달리티 신뢰도에 따른 가중치를 적용하고, Output = gf ⊙ S + (1−gf)⊙U, gf = σ(WfX + bf)으로 Self-Attn과 Cross-Attn의 균형을 조정한다. F′ = Fin + MMCAB(LN(Fin), Flu, {Fm}) 및 Fout = F′ + FFN(LN(F′))로 다중 계층을 잇는다. L1 외에 VGG-19 perceptual loss Lper를 도입해 고수준 구조를 보존한다. 파라미터 수는 2M trainable, 총 48M으로 Depth-Anything-V2와 DI‑NOV3 엔코더를 고정한다. LOL-v1/LOL-v2/SID/SMID/SDSD 등 7개 벤치마크에서 M2Retinexformer는 대다수 데이터셋에서 최상 또는 차상 성능을 달성한다.

모달리티의 신뢰도에 따라 이점이 좌우되며, 보조 특징이 불안정하면 성능 향상이 감소할 수 있다.