CogSENet: 블러-조건적 의미 라우팅과 명시적 주파수 융합을 통한 블라인드 이미지 디블러링

실제 사진에서 발생하는 공간적으로 비균일한 모션 블러는 단일 커널 가정이나 지역적 연산만으로는 복구가 어렵다. CogSENet은 고수준 의미 정보와 물리적 블러 추정을 결합해 어떤 영역을 어떻게 복원할지 선택적으로 조정함으로써 복잡한 비균일 블러에 강건한 복원을 가능하게 했다. 이 접근은 단일 작업 프레임워크로 deblurring뿐 아니라 deraining, dehazing, denoising 같은 다른 저수준 비전 문제에도 적용 가능함이 논문에서 확인됐다.

많은 기존 복원 모델은 입력 특징을 균질하게 처리해 의미적 경계와 물리적 블러를 구분하지 못했다. 이미지의 고주파 텍스처와 저주파 구조는 다른 복원 전략을 요구하고, 의미적 정보는 어느 영역에 복원 노력을 집중할지 결정하는 핵심 신호가 된다. 따라서 의미 인지와 주파수 분해를 결합하면 어떤 것을 복원할지와 어떻게 복원할지 두 축에서 동시 최적화가 가능하다. SDSSM은 토큰별 시맨틱 할당을 Gumbel-Softmax로 연속적으로 근사해 역전파가 가능하도록 하고, 지배적 클러스터 인덱스에 따라 토큰을 재배열해 semantically-contiguous한 시퀀스를 만든 뒤 1D state-space 스캔을 수행한다. 이 스캔은 각 스텝에서 상태 h를 갱신하고 출력 y를 생성하는데, 토큰-기반 프롬프트 z를 방출 행렬 C에 더해 동적 컨텍스트 의존성을 주입한다. 그 결과 의미적으로 관련된 먼 영역들이 선택적으로 상호작용하며, 불필요한 정보 확산이 억제된 선형 복잡성의 장거리 모델링이 실현된다. BFFB는 웨이브렛으로 특징을 LL/H로 분해해 저주파는 전역 구조 복원에, 고주파는 세부 텍스처 회복에 각각 특화된 경로로 처리한다. 병렬 Fourier-domain refinement는 학습 가능한 스펙트럼 필터 M으로 주파수 응답을 조절해 아티팩트를 억제하고 텍스처를 보강한다. 두 경로는 학습 가능한 가중치 β로 적응적으로 융합되어 물리적으로 해석 가능한 복원 결과를 만든다.

CogSENet은 U-shaped 멀티스케일 encoder–decoder 백본에 CogSF 블록을 층층이 배치한 구조로 구성된다. 입력은 3×3 오버랩 컨볼루션으로 얕은 특징을 추출한 뒤 세 단계의 계층에서 공간 해상도를 절반씩 줄이며 채널을 두 배로 늘리는 방식으로 인코딩되고, 디코더는 대칭적으로 복원해 skip connection으로 세부를 통합한다. 병목 단계에서 경량 CNN으로 연속 Blur Field(CBF)를 예측하고 이를 병목 특징과 결합한 후, frozen CLIP 임베딩과 코사인 유사도로 공간 attention을 계산해 잔차 게이팅 방식으로 병목 특징을 조절한다. 각 CogSF 블록은 먼저 SDSSM으로 의미 기반 토큰 재배열과 선택적 state-space 스캔을 수행해 글로벌 컨텍스트를 집계하고, 이어서 BFFB로 저주파와 고주파를 명시적으로 분리해 주파수별로 정제한다. SDSSM 내부에서 토큰 t를 K개 클러스터로 할당하는 확률 p_i는 Gumbel-Softmax로 근사되며, 학습 가능한 코드북 E로부터 프롬프트 z_i를 기대값으로 계산해 상태-방출 행렬에 조건을 부여한다. 재배열된 시퀀스는 행렬 Ā_j, B̄_j로 상태를 갱신하고 C_j+z̃_j로 출력을 생성한 뒤 역순 재배치와 그리드 폴딩으로 원래 공간에 다시 합산된다. BFFB는 웨이브렛 프로젝션 W로 X를 X_LL과 X_H로 분해하고 Φ_low는 저주파 구조에 대해 경량 U-shaped 모듈을, Φ_high는 고주파 세부에 대해 밀집 합성곱을 적용한다. 병렬로 ℱ(·)를 통해 주파수 영역으로 맵핑한 뒤 학습 가능한 스펙트럴 필터 M으로 재가중해 ℱ^{-1}로 되돌리는 경로를 둔다. 최종 출력은 X + β·W^{-1}(Φ_low(X_LL), Φ_high(X_H)) + (1-β)·ℱ^{-1}(M ⊙ ℱ(X)) 형태의 적응적 잔차 융합으로 얻어진다. 학습은 세 단계의 progressive training으로 이루어지며 초기 패치 크기 128×128, 300k iterations의 스테이지1을 시작으로 256×256와 320×320 패치로 확장한다. 최적화는 AdamW를 사용하고 cosine annealing 스케줄과 다단계 배치 및 학습률 감소를 적용했으며, 실험은 NVIDIA L40 4 GPU에서 수행되었다.

메인 벤치마크에서 경량 구성(Ours, 8.9M 파라미터)은 GoPro에서 34.72 dB PSNR·0.9744 SSIM을 달성했고, 확장 구성(Ours+, 19.4M)은 추가 성능 향상을 보였다. 비교 표(Table 1)는 동일한 벤치마크 상의 다수 최신 기법과의 정량적 비교를 제시하며, Ours는 적은 파라미터로도 FFTformer·EVSSM 등 경쟁 모델 대비 우수한 PSNR을 기록했다. RealBlur-R과 RealBlur-J에서도 Ours는 41.83/0.9799 및 34.54/0.9473의 성능을 보여 실제 촬영 기반 데이터에 대해서도 강건성을 증명했다. Ablation study에서 SDSSM, BFFB, CBF·CLIP 모듈의 기여가 정량적으로 확인됐다. SDSSM을 제거하면 PSNR이 하락하고 파라미터·지연은 증가하는 반면 의미 기반 재배열과 프롬프트 주입은 품질 향상에 핵심적이었다. BFFB의 저/고주파 분리와 암시적 주파수 정제 경로 중 어느 하나라도 제거하면 복원 품질이 유의미하게 떨어졌고, CBF 또는 CLIP만 단독 적용 시보다 두 요소를 결합했을 때 성능 향상이 가장 크게 나타났다. 추가로 CogSENet은 deblurring 외의 교차 태스크에서도 경쟁력을 보였다. Rain100H, BSD68, RESIDE-SOTS 같은 deraining·denoising·dehazing 벤치마크에서 상위권 성능을 보였고, 특히 고잡음·고강도 강수 환경에서 BFFB의 주파수 분리가 복원 안정성에 기여했다. 정성적 비교 그림에서는 미세 텍스처, 문자 및 경계 영역에서 기존 방법 대비 잔류 블러와 과매끄러짐이 적은 결과가 관찰되었다.

전체 아키텍처는 세 레벨의 U-shaped encoder–decoder로 구성되며 각 레벨에서 CogSF 블록을 여러 개 쌓아 다중 스케일 특징을 처리한다. 입력은 3×3 오버랩 컨볼루션으로 초기 특징을 얻고, 레벨별로 다운샘플링은 bilinear resize 뒤 3×3 convolution을 적용해 해상도를 절반으로 줄이며 채널을 두 배로 늘린다. 병목에서 경량 CNN으로 예측한 2채널 연속 Blur Field u를 병목 해상도로 리사이즈해 convolution embedding으로 인코딩한 뒤 병목 특징과 concat하고 1×1 fusion으로 blur-aware descriptors를 생성한다. SDSSM은 토큰화된 특징 T∈ℝ^{L×C}에 대해 Gumbel-Softmax로 K개의 클러스터 확률 p_{i,k}를 계산하고 학습 가능한 코드북 E로부터 프롬프트 z_i를 기대값으로 얻는다. 토큰들은 dominant cluster index k_i^*를 기준으로 정렬(정책으로 인덱스는 detach)되어 semantically contiguous한 시퀀스를 만들고, 이 시퀀스에 대해 1D state-space 스캔을 적용한다. 스캔 단계는 h_j = Ā_j h_{j-1} + B̄_j t̃_j, ỹ_j = (C_j + z̃_j) h_j + D t̃_j 형태로, 여기서 z̃_j가 방출 행렬 C에 조건을 주어 문맥 의존적 동적 전파를 실현한다. BFFB는 orthogonal wavelet W로 X를 X_LL(저주파)와 X_H(고주파)로 분해하고 Φ_low는 저주파용 경량 U-shaped 모듈, Φ_high는 고주파용 dense conv 모듈을 적용해 물리적 주파수 분리를 수행한다. 병렬 경로로 Fourier transform ℱ(·)을 통해 스펙트럴 필터 M을 곱하고 ℱ^{-1}로 역투영해 주파수 영역에서 아티팩트 억제를 수행한다. 최종 fusion은 X_out = X + β·W^{-1}(Φ_low(X_LL), Φ_high(X_H)) + (1-β)·ℱ^{-1}(M ⊙ ℱ(X))로 표현되며 β는 콘텐츠 적응형 학습 변수이다. CBF는 CNN_{blur}(I_in)으로부터 얻은 값을 tanh로 바운딩하고 d_max로 스케일링해 u = d_max·tanh(CNN_{blur}(I_in)) 형태로 계산된다. 병목 특징과 CLIP 임베딩 c를 동일 차원으로 맵핑한 뒤 ℓ2 정규화를 수행하고 픽셀 단위 코사인 유사도로 attention map A^{(b)}{i,j}를 계산한다. 병목 특징은 F'{i,j} = F_{i,j} + γ·(A_{i,j} · F_{i,j})로 잔차 게이팅되어 초기 학습 단계에서는 γ를 0으로 초기화해 정체도(identity) 유지와 안정적 수렴을 확보한다. 학습 설정은 shallow channel 48, 백본 블록 수 [6,6,12], 세 단계 progressive training(128→256→320 패치)이며 AdamW 최적화와 cosine annealing을 사용했다. 실험은 4개의 NVIDIA L40 GPU에서 수행되었고 표에 제시된 파라미터·PSNR·SSIM 수치는 논문에 명시된 원문 수치를 그대로 인용했다.

논문에서 명시된 제한점은 frozen CLIP 프리어즈에 대한 과도한 의존성이다. 매우 심한 모션 블러로 인해 CLIP이 의미적 단서를 뽑지 못하면 공간 attention이 균일하게 되어 focal adaptation 효과가 소실되고 복원에 실패하는 사례가 보고됐다. 저자들은 향후 작업으로 블러에 강건한 의미 추출기 통합과 비디오 복원 확장을 제시했다.