이미지 생성에서 구면 흐름 매칭의 잠재 기하 정렬

고차원에서 Gaussian 노이즈와 VAE latents는 얇은 구면(shell)에 집중한다. 이 잠재 공간에서 선형 경로는 두 엔드포인트를 지나 interior를 통과하며, 디코더는 토큰의 방향에 더 강하게 의존한다는 관찰에서 출발한다. 구면 위의 slerp 경로를 활용하고 잠재를 고정 반지름으로 프로젝션하면 경로가 항상 구면 위에 남아 방향성만 학습하도록 만들어 학습 효율과 생성 품질을 모두 개선한다. 이 접근은 Diffusion 아키텍처를 바꾸지 않고도 여러 토크나이저에서 일관된 FID 개선을 달성한다.

1. 기존의 Latent flow matching은 Gaussian noise와 VAE latents를 직선 경로로 연결하는 Euclidean 가정을 사용한다. 이는 두 엔드포인트가 얇은 구(shell) 안쪽으로 들어가 있는 경우에도 중간 지점이 엔드포인트 궤도와 무관한 영역을 지나게 하는 단점이 있다. 2) Latent의 방향이 생성에 결정적이며, radius는 디코더에게 큰 영향을 주지 않는 구조적 특성이 있다. 3) 이를 해결하기 위해 Latent를 고정된 반지름의 구면 Sd-1(√d)로 프로젝션하고, 사영된 방향 벡터 간의 geodesic인 slerp를 따라 흐름을 학습한다. 4) 이 구면 경로는 항상 구면 위에 머물러 거리 변화가 방향성 학습에만 집중되도록 하며, matched budget에서 더 빠른 수렴과 높은 품질(FID) 향상을 가져온다.

전체 접근 방식은 아래의 구성요소로 이루어진다. [전체 접근 방식] 사전 학습된 VAE latents를 구면에 투영하고, decoder만 미세조정하며, diffusion 아키텍처를 변경하지 않는다. [메커니즘] z0 ∼ Uniform(Sd−1(√d))와 z1 = E(x)로 정의되는 토큰별 지점에서, zt를 구면 위의 geodesic인 slerp로 보간한다. 학습 목표는 vθ(zt, t, y)의 투사된 속도와 ut의 접선 투속를 맞추는 것인데, slerp의 경우 ut는 접선 공간에서만 존재한다. [학습/구현] 토큰별 반지름 고정으로 radial motion을 제거하고, Tangent projection을 사용하여 모델 출력을 구면의 접선공간으로 투영한다. Euler 샘플링 대신 exponential-map 샘플링을 사용해 한 스텝에서 geodesic arc length를 정확히 따라간다. [비교] Linear 경로, Shell 경로 등과 비교해 구면 보간이 보편적으로 더 적은 radial 학습을 필요로 하고, decoders의 sensitivity가 방향에 집중됨을 확인한다.

주요 벤치마크에서 spherical-slerp 구면 흐름은 vanilla-linear 대비 성능 향상을 보인다. 예를 들어 Table 2에서 FLUX.2의 FID는 26.35(Linear)에서 20.55(Slerp)으로 감소했고, VA-VAE와 REPA-E FLUX.1에서도 유사하게 개선된다. Table 3의 rFID 비교에서도 spherical 구면 프롭세션이 vanilla 대비 더 낮은 값으로 나타난다. 또한 Table 5의 다양한 토크나이저/스케일에서 Slerp가 Linear 대비 일관된 FID 개선을 보였고, 200 epochs 실험에서도 8.35(Linear) 대비 2.91(Slerp)로 감소했다. Fig.6의 학습 곡선은 spherical-slerp가 같은 예산에서 더 빠르게 FID를 낮춘다는 것을 시각적으로 보여준다.

구면(latent sphere) 제약은 Encoder와 Decoder 사이의 학습 파이프라인에만 부착된다. 1) π(z) = √d z / ∥z∥를 통해 각 토큰을 Sd−1(√d) 위에 매핑하고, z0는 Uniform(Sd−1(√d))에서 샘플링한다. 2) slerp 경로를 사용해 zt를 구하고, ut의 투영을 Πzt으로 수행하여 zt의 접선 공간에 머물도록 한다. 3) Lslerp 손실은 ∥Πzt vθ(zt, t, y) − Πzt ut∥^2로 계산되며, 역전 파이프라인은 expzt(Πzt vθ(zt, t, y) Δt)로 샘플링한다. 4) Exponential-map 샘플링은 t에 따라 geodesic 등속으로 움직이며, 1스텝에서 제약된 arc 길이를 유지한다. 5) Decoder finetune은 토크나이저별로 다르지만, encoder는 고정해 재학습 없이도 구면 구조를 유지한다. 6) Tokenizer별 Norm은 Tab.1에 정리된 실험 수치를 기반으로 구면으로의 수렴을 보장한다.