관측 고정 잔차 흐름과 지리-문맥 정렬로 해석가능한 위성 구름 제거 (GACR)

왜 중요한가

구름이 가려진 위성 영상은 단순한 시각품질 개선만으로는 하위 해석 과제의 신뢰도를 보장하지 못한다. GACR은 생성 경로를 흐린 관측 이미지에 고정하고 대형 비전 모델의 표현 공간에 재구성 특징을 정렬함으로써 시맨틱 드리프트를 억제한다. 그 결과 복원된 영상이 시각적으로 우수할 뿐만 아니라 분할, 건물 추출, 고도 추정 등 실제 해석 성능을 실질적으로 향상시킨다.

핵심 기여

관측 고정 잔차 흐름(OAR-Flow)을 통한 물리적 역변환 모델링

OAR-Flow는 생성 초기화를 순수 잡음 대신 흐린 관측 x_c로 시작하여 시간 의존 계수 α_t, β_t, σ_t로 청정 이미지, 관측 이미지, 가우시안 잔차 기여를 선형 결합하는 전방 보간식 x_t = α_t x_* + β_t x_c + σ_t ε을 정의했다. 이로 인해 네트워크는 시각적으로 관측 신호가 남아있는 영역에서는 관측을 따라 물리적 역변환을 수행하고, 심하게 가려진 영역에서는 잔차 생성으로 의미적 보완을 수행하도록 유도되어 공간적 정렬성이 유지된다. 학습은 속도장 일치 손실 ℒ_vel로 수행되어 결정적 흐름을 예측하고 샘플링 시 관측 앵커를 따라 역적분하여 복원 결과를 얻는다.

Vision Foundation Model 기반 지리-문맥 사전 정렬(GCPA)과 GCI 손실

GCPA는 사전학습된 VFM f_vfm의 중간 표현 z_*를 지리적 문맥의 기준으로 삼고 HDiT 병목 특징 h_t를 ADP(Adaptive Projector)를 통해 동일한 토큰 공간으로 매핑하였다. 매핑된 표현 z_t와 z_* 간의 패치 단위 코사인 유사도를 음수로 최소화하는 ℒ_GCI를 도입하여 재구성 특징이 VFM 유도 시맨틱 매니폴드에 머무르도록 제약을 부과하였다. 픽셀 기반 속도장 손실과 결합된 통합 목적 함수 ℒ = ℒ_vel + λ ℒ_GCI는 하위 작업에서 요구되는 구조적·범주적 정보 보존을 강화한다.

광범위한 벤치마크에서의 성능 향상 및 수렴 개선

여섯 개 데이터셋과 열두 개 하위 과제 평가에서 GACR은 재구성 PSNR과 하위 과제 정확도를 일관되게 향상시켰다. 예를 들어 Potsdam-CR-thin에서 GACR-SAT/1이 PSNR 33.642 dB를, Vaihingen-CR-thin에서 36.918 dB를 기록했으며 다운스트림에서는 CLS 정확도 0.833, SEG 등에서 mIoU 개선을 보였다. 또한 OAR-Flow는 EMRDM 대비 약 3× 빠른 수렴을 달성했고 GCPA를 포함한 완전 모델은 약 5× 빠른 수렴을 달성하여 학습 효율성도 개선되었다.

핵심 아이디어 이해하기

구름 제거 문제는 관측된 흐린 이미지 x_c를 바탕으로 실제 표면 x_*를 추정하는 조건부 생성 문제이다. 기존의 노이즈 기반 확산 모델은 생성 초기화를 순수 가우시안 잡음에서 시작하여 광범위한 확률적 탐색을 수행하므로 관측과 공간적으로 일치하지 않는 지리적 세부를 합성할 위험이 있다. 반면 잔차 예측 계열은 잔차가 가우시안이라는 가정에 의존하여 두꺼운 구름처럼 관측 신호가 사라진 영역에서 구조적 모호성으로 과도하게 평활화될 가능성이 존재한다.

방법론

전체 접근은 관측을 앵커로 하는 연속적 잔차 보간과 VFM 기반 표현 정렬을 결합한 두 축으로 구성된다. 전방 보간식은 x_t = α_t x_* + β_t x_c + σ_t ε로 정의되며 α_t, β_t, σ_t는 시간에 따라 변하는 계수로서 t=0에서 x_t가 x_에 가깝고 t=T에서 x_t가 관측과 잡음 혼합으로 이동하도록 설계되었다. 이 식의 변수 의미는 다음과 같다: x_는 청정 표면, x_c는 흐린 관측, ε는 표준 가우시안 잡음이며 α_t는 청정 기여 강도, β_t는 관측 앵커 강도, σ_t는 잔차 노이즈 강도를 제어한다. 계산 흐름은 입력(청정·관측·잡음) → 시간별 선형 결합 → 네트워크가 예측하는 속도장 u_t로의 대응 → 결정적 역적분을 통한 x_* 추정으로 이어진다. 예를 들어 선형 스케줄 α_t=1−t, β_t=ρ t, σ_t=t를 택하면 중간 시점 t=0.5에서 α=0.5, β=0.5ρ, σ=0.5가 되어 관측과 잔차가 동시 기여하는 중간 상태가 형성된다. 이 구성은 얇은 구름에서는 관측에 기반한 역변환을 우선하고 두꺼운 구름에서는 잔차 생성으로 의미 보완을 허용하여 공간적·시맨틱 정렬을 유지하는 실용적 해석을 제공한다.

주요 결과

메인 벤치마크에서 GACR는 재구성 및 하위 과제 성능을 동시에 개선하였다. Table 1에서 GACR-SAT/1은 Potsdam-CR-thin에서 PSNR 33.642 dB, Vaihingen-CR-thin에서 PSNR 36.918 dB를 기록했고 CUHKCR-EXT-CS에서는 GACR-SAT/1이 PSNR 24.354 dB를 달성하여 강한 벤치마크를 상회했다. 다운스트림 평가에서는 GACR-SAT/2가 분류에서 CLS-1 정확도 0.833, CLS-2 정확도 0.781을 달성했고 세분화 및 고도 추정에서 mIoU와 RMSE 지표가 기존 방법보다 일관되게 우수했다. 수렴성 비교에서 OAR-Flow는 EMRDM 대비 약 3× 빠른 수렴을 보였고 GCPA를 포함한 완전한 GACR는 약 5× 빠른 수렴을 달성하여 학습 효율성에서도 이점을 보였다.

기술 상세

전체 아키텍처는 HDiT 기반 백본, OAR-Flow 속도장 예측기, ADP(Adaptive Projector), 그리고 VFM 인코더로 구성된다. HDiT는 x_t와 x_c를 조건으로 받아 병목 특징 h_t를 생성하고, ADP는 h_t를 재배열·어댑티브 풀링·MLP로 변환하여 VFM 특징 공간에 맞춘 z_t를 산출한다. 핵심 수학적 기반은 전방 보간식(식 4)과 이에 대응하는 확률 흐름의 수송 방정식(식 7)이며 속도장 목표식 v_t(x)=E[α̇_t x_* + β̇_t x_c + σ̇_t ε | x_t=x]를 근거로 ℒ_vel(식 11)을 통해 네트워크가 분석적 속도장에 일치하도록 학습한다. GCI 손실(식 14)은 z_*와 z_t의 패치 단위 코사인 유사도를 평균화한 항으로서 λ 하이퍼파라미터로 ℒ_vel와 균형을 맞춘다. 구현·학습 세부에서 기본 패치 크기 p=2를 채택하여 연산 효율과 복원 세밀도 사이를 조절했으며 HDiT+OAR-Flow 구성은 약 56.05 GFLOPs로 보고되었다.

실무 활용

GACR의 코드와 모델은 공개 저장소에 위치하여 재현성과 실무 도입의 진입 장벽을 낮춘다. 관측을 앵커로 하는 생성 경로와 VFM 기반 정렬은 위성 영상 전처리 파이프라인에서 복원 결과를 하위 분석에 바로 투입할 수 있는 신뢰 가능한 입력으로 만든다. 기본 구성은 HDiT 백본과 DINOv3 기반 평가 모듈을 결합하므로 기존 비전 백본과의 호환성 확보가 상대적으로 수월하다.

지속적 지상 관측 파이프라인에서 구름 가림이 잦은 장면을 전처리하여 토지피복 분류 및 변화 탐지의 입력으로 사용 가능하다.
재난 모니터링이나 도시 계획처럼 건물 추출과 정확한 경계 복원이 중요한 응용에서 복원된 영상을 다운스트림 분류·세분화 모델에 투입할 수 있다.
고도 추정이나 표면 물리량 추출처럼 공간적 연속성과 시맨틱 일관성이 중요한 지리정보 분석 워크플로에 통합될 수 있다.

코드 공개 여부: 공개

코드 저장소 보기

키워드

cloud removal(구름 제거)observation-anchored residual flow(관측 고정 잔차 흐름)geo-contextual prior alignment(지리-문맥 사전 정렬)vision foundation model(비전 파운데이션 모델)semantic manifold(시맨틱 매니폴드)downstream interpretation(하위 과제 해석)

용어 해설

관측 고정 잔차 흐름(OAR-Flow): — 관측 고정 잔차 흐름은 생성 경로를 순수 잡음이 아닌 흐린 관측 이미지에 연결하여 복원을 수행하는 연속 확률·결정적 궤적 프레임워크이다. 시간 의존 계수 α_t, β_t, σ_t로 복원-관측-잡음 기여를 가중하고, 네트워크가 속도장(velocity field)을 예측하도록 학습하여 관측과 공간적으로 정렬된 출력을 얻는다. 이 방식은 얇은 구름에서는 관측 신호를 유지하고 두꺼운 구름에서는 잔차 생성 유연성을 제공하여 의미적 왜곡을 줄이는 것이 핵심이다.
지리-문맥 사전 정렬(GCPA): — Geo-Contextual Prior Alignment는 사전 학습된 Vision Foundation Model의 표현 공간을 이용해 재구성된 이미지의 지역별 특징을 정렬하는 제약이다. HDiT의 병목 특징을 적응형 프로젝터로 VFM의 토큰 공간으로 매핑한 뒤 패치 단위 코사인 유사도(ℒ_GCI)를 통해 지리적 문맥 연속성과 범주 특이적 서명을 유지한다. 이 제약은 픽셀 단위 복원 손실과 결합되어 시맨틱 드리프트를 억제한다.
비전 파운데이션 모델(Vision Foundation Model): — Vision Foundation Model은 대규모 데이터로 사전학습된 비전 인코더로서 이미지의 밀집 표현을 생성한다. 본 논문에서는 VFM의 중간 표현을 지리-문맥 사전으로 사용하여 재구성된 이미지가 동일한 의미적 매니폴드에 속하도록 정렬한다. VFM은 시맨틱 토큰을 제공하여 하위 작업의 의미적 일관성을 유지하는 기준을 형성한다.
시맨틱 매니폴드(Semantic Manifold): — 시맨틱 매니폴드는 VFM이 학습한 특징 공간에서 의미적으로 유사한 지역이 모이는 구조를 뜻한다. GCPA는 재구성 표현을 이 매니폴드에 정렬하여 지리적 맥락과 범주적 연속성을 보존한다. 매니폴드 정렬은 픽셀 수준의 유사성만으로는 달성하기 어려운 하위 작업 성능 안정화에 기여한다.
HDiT 백본(HDiT): — HDiT는 고해상도 픽셀 공간에서 동작하는 Transformer 기반 백본 아키텍처로서 이미지 복원에 적합한 병목 특징을 생성한다. 본 연구에서는 HDiT의 병목 출력 h_t를 Adaptive Projector(ADP)로 재배열·풀링한 뒤 VFM 표현과 정렬하는 데 사용한다. HDiT는 DiT 대비 연산 효율 측면에서 우위를 보이며 OAR-Flow와 결합하여 효율적 복원을 가능하게 했다.
DINOv3: — DINOv3는 자기지도 방식으로 학습된 대형 비전 인코더로서 밀집 표현 추출 성능이 우수하다. 본 논문에서는 다운스트림 평가의 고정된 인코더로 사용하여 재구성 결과가 실제 하위 작업에서 의미적 일관성을 유지하는지 정량적으로 측정했다. VFM과는 독립된 가중치를 사용하여 평가의 공정성을 확보했다.

관측 고정 잔차 흐름과 지리-문맥 정렬로 해석가능한 위성 구름 제거 (GACR)

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 피드

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

실무 활용

키워드

관련 토론

댓글

관련 피드