둘이서 하나: 버스트 플리커 제거를 위한 주기성과 방향성의 이중주

실내 조명의 깜빡임과 카메라의 촬영 방식이 충돌하여 생기는 줄무늬 노이즈(플리커)를 제거하는 것은 매우 까다로운 작업이다. 이 논문은 플리커의 물리적 발생 원리인 주기성과 방향성을 인공지능 모델의 구조에 직접 설계해 넣어, 기존보다 훨씬 적은 연산량으로도 깨끗한 사진을 얻을 수 있게 해준다.

플리커는 전등이 초당 수십 번 깜빡이는 주기성과, 카메라 센서가 위에서 아래로 한 줄씩 읽어 들이는 방향성이 결합되어 나타난다. 기존의 일반적인 이미지 복원 모델은 이런 특수한 기하학적 패턴을 고려하지 않고 전체 픽셀 간의 관계(Self-Attention)만 계산하려다 보니 효율이 떨어졌다. 이 논문은 주파수 영역에서 '위상(Phase)' 정보가 이미지의 뼈대와 구조를 결정한다는 점을 이용한다. 여러 장의 사진을 찍었을 때, 각 사진의 위상을 비교하면 플리커가 어느 위치에 어떤 주기로 나타나는지 수학적으로 정확히 파악할 수 있다. 또한, 플리커가 줄무늬 형태라는 점에 착안해 이미지를 가로, 세로 성분으로 쪼개어 분석하는 웨이블릿 변환을 도입했다. 이를 통해 모델이 플리커가 심한 특정 방향의 픽셀들을 더 집중해서 고치도록 유도하여 복원 성능을 비약적으로 향상시켰다.

PFM(Phase-based Fusion Module)은 입력된 여러 프레임에 FFT(고속 푸리에 변환)를 수행하여 주파수 성분을 추출한다. 기준 프레임과 참조 프레임 간의 위상 차이를 계산하는 연산을 통해 프레임 간의 구조적 불일치를 수치화하고, 이를 가중치 맵으로 변환하여 플리커가 없는 깨끗한 특징 위주로 정보를 융합한다. AFFN(Autocorrelation Feed-Forward Network)은 단일 프레임 내의 주기성을 포착하기 위해 Wiener-Khinchin 정리를 적용한다. 특징 맵의 주파수 크기 제곱에 역푸리에 변환을 취하는 과정을 통해 반복되는 줄무늬 패턴을 명확히 드러내고, 이를 학습 가능한 파라미터와 결합하여 주기적 왜곡을 효과적으로 억제한다. WDAM(Wavelet-based Directional Attention Module)은 Haar 웨이블릿을 사용하여 특징을 저주파(LL)와 수평(LH), 수직(HL), 대각(HH) 고주파 성분으로 분해한다. 수평/수직 성분을 결합해 만든 방향성 가중치 맵을 Attention 메커니즘의 Value 값에 곱해줌으로써, 플리커가 집중된 특정 방향의 픽셀들에 더 높은 가중치를 부여해 정밀하게 복원한다.

BurstDeflicker 데이터셋 실험 결과, PSNR 31.226 dB를 기록하며 기존 SOTA 모델인 AST(30.646 dB)를 0.580 dB 차이로 앞질렀다. SSIM(0.920)과 LPIPS(0.045) 지표에서도 가장 우수한 성능을 보였다. 효율성 측면에서 Flickerformer는 3.92M의 파라미터와 128.76G FLOPs를 사용하여, 성능이 낮은 다른 대형 모델보다 훨씬 가볍고 빠른 처리가 가능함을 입증했다. 정성적 평가에서도 기존 모델들이 과노출 영역에서 색상 왜곡을 일으키거나 잔상을 남기는 것과 달리, 미세한 질감과 색상을 보존하면서 플리커만 깨끗하게 제거하는 결과를 보여주었다.

전체 아키텍처는 3단계 계층 구조를 가진 비대칭 U-Net 형태의 Transformer이다. 인코더에서는 AFFN을 통해 주기적 특징을 강화하고, 디코더에서는 WDAM을 통해 방향성 정보를 활용한 정밀 복원을 수행한다. PFM은 주파수 도메인에서의 Phase Correlation이 공간 도메인의 Convolution과 수학적으로 대응된다는 점을 활용하여, 별도의 복잡한 정렬 알고리즘 없이도 프레임 간 특징을 효과적으로 정렬하고 융합한다. WDAM은 Haar Wavelet 기반의 분해를 통해 Window-based Attention의 연산 범위를 저주파 대역으로 한정함으로써, 전체 연산량과 메모리 사용량을 약 75% 절감하면서도 고주파 방향성 정보를 복원에 반영하는 효율적인 구조를 채택했다.

깨끗한 영역이 버스트 프레임 전체에서 소실된 대규모 광원 소멸 상황에서는 부분적인 복구만 가능하다.