유니버설 노멀 임베딩: 인코더와 생성 모델을 잇는 공통 가우시안 잠재 공간

시각 인코더와 생성 모델이 서로 다른 원리로 작동한다는 통념을 깨고, 두 모델이 공통된 수학적 구조인 '가우시안 잠재 공간'을 공유함을 입증했다. 이를 통해 추가 학습 없이 노이즈 조작만으로 정교한 이미지 편집이 가능해졌으며, 시각 이해와 생성 연구를 통합할 수 있는 새로운 시각을 확립했다.

딥러닝에서 임베딩(Embedding)은 데이터를 고차원 공간의 점으로 표현하는 핵심 개념이다. 기존에는 CLIP 같은 인코더는 이미지의 '의미'를 추출하고, Stable Diffusion 같은 생성 모델은 무작위 '노이즈'에서 이미지를 만든다고 보아 두 공간을 별개로 취급했다. 하지만 두 모델군 모두 수학적으로는 가우시안(Gaussian) 분포를 따르는 잠재 공간을 기반으로 작동한다는 근본적인 공통점이 존재한다.

이 논문은 '유니버설 노멀 임베딩(UNE)'이라는 가설을 통해 이 두 세계를 하나로 연결했다. 인코더가 생성한 벡터나 생성 모델이 사용하는 노이즈는 사실 하나의 거대한 '이상적인 가우시안 공간'을 서로 다른 각도에서 바라본(선형 투영한) 결과물이라는 원리다. 즉, 겉보기에는 무작위처럼 보이는 생성 모델의 노이즈 안에도 인코더가 파악하는 것과 동일한 시각적 의미 구조가 이미 질서 정연하게 존재한다.

이러한 발견은 생성 모델의 노이즈를 직접 수정하여 이미지를 정밀하게 바꿀 수 있는 가능성을 열어주었다. 예를 들어 '웃음'에 해당하는 방향 벡터를 노이즈에 더해주는 것만으로도, 모델을 재학습시키거나 복잡한 프롬프트를 입력하지 않고도 자연스럽게 웃는 얼굴을 생성할 수 있다. 이는 시각적 이해(인코더)와 생성(제너레이터)이 사실상 같은 수학적 언어를 공유하고 있음을 의미하며, 두 분야의 기술적 융합을 가속화했다.

UNE 가설을 수학적으로 정의하기 위해 Induced Normal Embedding (INE) 개념을 도입했다. 각 모델 i의 잠재 코드 Z_i는 이상적인 UNE 공간의 변수 Z에 선형 맵 C_i를 곱하고 노이즈 epsilon_i를 더한 Z_i = C_i Z + epsilon_i 형태로 표현된다. [UNE 공간의 벡터 Z를 입력으로] → [모델별 선형 행렬 C_i를 곱하고 노이즈를 합산하여] → [모델 고유의 잠재 코드 Z_i를 얻으며] → [이는 각 모델이 전체 의미 공간의 일부를 노이즈 섞인 상태로 관찰함을 의미한다].

여러 모델이 공유하는 핵심 하위 공간을 찾기 위해 Generalized Canonical Correlation Analysis (GCCA)의 MAXVAR 공식을 사용했다. 여러 모델의 잠재 표현 {Z_i}가 주어질 때, 모든 모델이 공통적으로 설명할 수 있는 k차원 공유 공간 X를 최적화 문제로 해결했다. [각 모델의 잠재 행렬 Z_i와 복원 행렬 A_i를 입력으로] → [sum ||Z_i A_i - X||^2 손실 함수를 최소화하는 X와 A_i를 계산하여] → [공통된 특징 행렬 X를 추출하고] → [이 X가 모델 간의 공통된 시맨틱 구조를 담고 있는 핵심 공간이 된다].

속성 간의 엉킴(Entanglement)을 해결하기 위해 직교화(Orthogonalization) 기법을 적용했다. 특정 속성 w1을 변경할 때 원치 않는 속성 w2가 함께 변하는 것을 막기 위해, w1을 w2의 영공간(Null space)으로 투영했다. [두 속성 방향 벡터 w1, w2를 입력으로] → [w1에서 w2 방향의 성분을 빼주는 투영 연산을 수행해] → [수정된 방향 w1'을 얻고] → [이 방향으로 노이즈를 이동시키면 다른 특징을 건드리지 않고 목표 속성만 독립적으로 편집할 수 있다].

CelebA 데이터셋의 40개 속성에 대해 선형 분류(Linear Probing) 실험을 진행한 결과, Stable Diffusion(SD 1.5, 2.1)의 역전 노이즈가 CLIP ViT-B/16과 거의 대등한 수준의 속성 예측 정확도를 기록했다. 이는 생성 모델의 초기 노이즈 단계에서 이미 풍부한 시맨틱 정보가 선형적으로 분리 가능한 형태로 존재함을 입증했다.

교차 공간 전이(Cross-space transfer) 실험에서, 생성 모델의 노이즈를 인코더의 잠재 공간으로 선형 매핑했을 때 속성 예측 정확도 하락이 0.3% 미만으로 매우 낮게 나타났다. 또한 코사인 유사도가 0.8 수준으로 높게 유지되어, 서로 다른 목적으로 학습된 모델들이 기하학적으로 정렬된 잠재 공간을 공유하고 있음이 확인됐다.

공유 잠재 공간 X를 통한 분석에서는 단 16차원의 낮은 차원에서도 높은 속성 분류 성능이 유지됐다. 이는 이미지의 핵심적인 시맨틱 정보가 매우 좁은 공통 하위 공간에 집중되어 있음을 시사하며, 다양한 아키텍처의 모델들이 이 핵심 정보를 공통적으로 학습하고 있음을 보여주었다.

본 연구는 '플라톤적 표현 가설(Platonic Representation Hypothesis)'을 확장하여, 인코더와 생성 모델이 동일한 데이터 분포를 학습할 때 공통된 가우시안 잠재 기하학으로 수렴한다는 점을 규명했다. 특히 DDIM 역전(Inversion)을 통해 얻은 노이즈가 단순한 무작위 값이 아니라, 데이터의 시맨틱 구조를 보존하는 선형 투영체임을 수학적으로 정식화했다.

핵심 아키텍처는 모델별 Induced Normal Embedding(INE) 간의 선형 관계에 기반한다. 각 모델의 잠재 공간은 UNE의 노이즈 섞인 선형 투영으로 간주되며, 이는 Z_i = C_i Z + epsilon_i로 모델링된다. 여기서 C_i는 모델 고유의 시각적 특징 추출 방식을 결정하는 행렬이며, epsilon_i는 모델별 고유 노이즈를 의미한다.

실험에 사용된 NoiseZoo 데이터셋은 CelebA 19k 이미지에 대해 SD 1.5, SD 2.1, LCM의 노이즈와 CLIP, DINO의 임베딩을 쌍으로 구성했다. 이를 통해 모델 간의 기하학적 유사성을 MSE, 코사인 유사도, 하류 작업 성능 유지율 등으로 정밀하게 측정할 수 있는 벤치마크를 구축했다.

구현 측면에서 속성 분류를 위해 PCA를 거친 후 로지스틱 회귀를 적용했으며, 모델 간 매핑에는 릿지 회귀(Ridge Regression)를 사용했다. 특히 릿지 페널티를 소스 특징의 에너지에 비례하도록 스케일링하여 모델 간 차원을 넘나드는 안정적인 정규화를 달성한 것이 기술적 차별점이다.

논문이 명시한 한계점은 다음과 같다. 현재 연구는 주로 얼굴 이미지(CelebA)와 동물 이미지(AFHQ) 도메인에 집중되어 있어, 더 복잡하고 일반적인 장면에서의 UNE 존재 여부는 추가 검증이 필요하다. 또한 선형성 가설이 강력하지만 비선형적인 속성 얽힘이 존재할 경우 단순한 직교화만으로는 완벽한 분리가 어려울 수 있다.