구면 기하를 활용한 지오메트리 인식 이미지 플로 매칭: SOT-CFM과 SFM

왜 중요한가

자연 이미지의 의미 정보는 방향성에 집중되고 크기 정보는 전체 데이터의 평균으로 근사 가능하다는 관찰을 바탕으로, 데이터를 구면에 투영해 방향성 지오메트리를 이용한 생성 모델링을 제시한다. 이를 통해 Euclidean 기하에 의존하던 기존 Flow Matching의 한계를 극복하고, CIFAR-10 및 ImageNet-256에서 Euclidean baselines보다 향상된 성능을 보인다.

핵심 기여

자연 이미지의 방향성 우선 구면 거동 발견

이미지를 방향성 벡터와 크기(노름)로 분해하면 방향 벡터가 의미 정보를 주도하고, 노름은 데이터 평균으로 근사 가능하다는 실험적 사실을 제시한다.

SOT-CFM과 SFM의 제안

SOT-CFM은 OT-CFM의 비용 함수를 Angular distance로 대체해 방향성에 따른 매칭을 강화하고, SFM은 소스/타깃 분포를 구면 위에 투영하고 흐름 경로를 geodesic으로 제한해 구면 기하를 직접 활용하는 완전한 Riemannian 프레임워크를 제시한다.

실험적으로 Euclidean 기초 대비 성능 향상

CIFAR-10 및 ImageNet-256에서 SFM이 전체 Baseline 대비 우수한 gFID를 달성하고, SOT-CFM은 각도 거리에 기반한 매칭으로 성능을 안정적으로 개선한다. 추가로 SFM은 Latent 공간에서도 우수한 성능을 보이며, Downstream 분류에서 Top-1이 향상된다.

핵심 아이디어 이해하기

출발점: 고차원 벡터를 방향 벡터(x̂)와 스칼라 노름(s)로 분해하면 의미 정보는 방향에 주로 의존하고 노름은 전체 데이터의 평균으로 근사 가능하다는 직관이 생긴다. 이로써 데이터가 구면(Sd−1)에 근접한다고 가정하면 비유클리드 기하를 활용한 학습이 가능해진다. 해결 원리: 방향 정보의 보존에 집중하기 위해 데이터의 hyperspherical projection을 수행하고, OT-CFM의 비용을 angular distance로 바꾸어 방향성 기반 매칭(SOT-CFM)을 구현한다. 더 나아가, 구면에서의 geodesic 경로를 따라 흐름을 정의하는 Spherical Flow Matching(SFM)을 제안한다. 효과: 방향성에 집중한 학습으로 학습 난이도가 감소하고, 구면 기하를 직접 활용하는 방식(SFM)이 Euclidean 기반 대비 전반적으로 더 나은 gFID, sFID, IS를 달성한다. 실험은 CIFAR-10 및 ImageNet-256에서 일관된 개선을 보여주며, 구면 기하가 자연 이미지 생성에 실용적임을 입증한다.

방법론

전체 접근: Flow Matching 프레임워크를 구면 기하에 맞게 확장한다. 수식적으로는 xt의 흐름은 ut(xt, t)로 정의되며, vϕ를 학습해 실제 marginal velocity ut를 근사한다. I-CFM은 독립적 매칭, OT-CFM은 배치별 최적 전송으로 매핑을 최적화한다. SOT-CFM은 cang(x0, x1) = arccos(<x0, x1> / (||x0|| ||x1||))로 유효한 Angular distance를 비용으로 사용하며, 최소화하는 최적 전송을 구한다. SFM은 소스와 타깃 분포를 Sd−1에 투영하고, x̃t = r·x̂t를 사용해 SLERP(gegenes)로 geodesic 경로를 구성하고, vϕ를 이러한 경로의 tangent 벡터와 비교하는 LSFM를 사용한다. 수식 요약: 1) x0 ∼ p0, x1 ∼ p1, xt ∼ pt에서 vϕ를 학습하고, 2) ut(xt|x0, x1) = ˙γt( x0, x1 )이며, 3) LSFM(ϕ) = E[‖vϕ(xt, t) − ut(xt|x0, x1)‖^2]g로 최적화한다. 실험 설정: CIFAR-10 및 ImageNet-256에서 I-CFM, OT-CFM의 기초 방식과 구면 변형(SOT-CFM, SFM)을 비교한다. 해석: 구면 투영은 노름의 변동을 제거해 학습 난이도를 낮추고, angular 기반 매칭이 의미적 유사성을 보존한다.

주요 결과

주요 벤치마크 결과: CIFAR-10 및 ImageNet-256에서 SOT-CFM은 OT-CFM 대비 gFID를 4.30에서 4.11로 개선하고, ImageNet-256에선 5.22에서 5.15로 개선된다. I-CFM은 4.29에서 4.10으로 개선, +Projected도 비슷한 수준이다. SFM은 Euclidean 기반 대비 가장 우수한 성능을 보여 CIFAR-10에서 gFID 3.79, ImageNet-256에서 4.62(θ=120에서)로 기록한다. 이는 SFM이 모든 Baseline을 상회한다는 것을 의미한다(정확도 및 재현성 지표도 상향). Radius ablation에서 최적 r은 120 근처로, gFID는 4.62에 도달하고 이후 약간 감소한다. 실험적으로 구면 투영은 방향성 정보의 보존을 유지하면서 평균 노름을 고정시켜 학습 난이도를 낮추고, 구면에서의 흐름은 더 안정적이고 질적 향상을 가져왔다. 다운스트림 평가: ImageNet-256에서 SFM은 Top-1 87.13%로 원래 검증 세트 80.35%보다 높아졌고, DC-AE Recon은 76.29%로 나타났다. 이는 구면 기하 기반 생성이 의미 구조를 보존하고 향상시킬 수 있음을 시사한다.

기술 상세

아키텍처: CIFAR-10용 U-Net, ImageNet-256용 DiT-XL/2 기반 모델. OT 계산은 미니배치 Sinkhorn으로 수행하며, 구면 OT의 코스트는 geodesic distance를 사용한다. 학습: CIFAR-10은 200kIter, 배치 512, Adam 최적화; ImageNet-256은 140kIter, 배치 1024, AdamW, gradient checkpointing, fp16. 노름 예측 보정 네트워크(Nϕ) 도입 시 비용은 미미하나(수 ms), 성능 개선은 제한적이다. 구면 흐름에선 SLERP를 이용한 x̃t = γt(̃x0, x̃1) 및 ut(̃xt|̃x0, ̃x1) = ˙γ(t)로 구성된다. LSFM 손실은 LSFM(ϕ) = E[‖vϕ(t, x̃t) − ut(̃xt|̃x0, ̃x1)‖^2]이다.

실무 활용

구면 투영과 angular-based OT를 활용한 지오메트리 인지 이미지 생성은 Euclidean 기반 방법에 비해 학습 효율과 생성 품질을 개선한다. 대규모 이미지 데이터에서 directional 정보를 집중 학습시키는 것이 가능하다.

구면 기하를 활용한 대규모 이미지 생성 파이프라인의 구성
latent diffusion 모델의 latent 공간에서 구면 흐름 매칭 적용
각도 기반 매칭으로 스타일/구조 보존을 강화하는 컨트롤된 생성

코드 공개 여부: 미확인

키워드

Spherical Flow MatchingSpherical Optimal Transport Flow MatchinghypersphereRiemannian flowgeometry-awareCIFAR-10ImageNet-256

용어 해설

하이퍼스피어(Hypersphere): — 데이터를 방향성으로 표현하고 크기(norm)는 데이터 세트 전체 평균으로 근사하는 기하학적 공간으로, 이미지 표현이 구면 위에서 의미 정보를 방향에 집중시키도록 한다.
리만니안 플로 매칭(Riemannian Flow Matching): — Riemannian manifold 위에서 기하학적 구조를 이용해 geodesic velocity를 맞추는 흐름 매칭 프레임워크의 하나로, 구면 및 일반 매니폴드에 적용 가능하다.
최적전송 조건부 흐름 매칭(Optimal Transport Conditional Flow Matching): — 평면 Euclidean 거리가 아닌 각도 거리(angular distance)를 사용해 소스-타겟 간의 최적 매핑을 찾는 조건부 흐름 매칭 기법의 하나이다.