GenFirst로 잠재 붕괴 없는 생성 학습

왜 중요한가

기존 Latent generative model은 복원에 최적화한 잠재 공간을 만든 뒤 생성 모델을 별도로 학습하지만, 두 모델을 직접 함께 학습하면 latent collapse와 생성·복원 목표의 충돌이 발생한다. GenFirst는 생성 목적이 잠재 공간의 방향을 먼저 정하도록 학습 순서를 바꿔 이 문제를 완화했으며, SiT에서 CFG 사용 시 gFID 0.97을 기록했다.

핵심 기여

KL divergence의 엔트로피 항이 잠재 붕괴를 억제

복원과 prior fitting 목적은 posterior를 축소하는 방향으로 작용하지만, KL divergence의 entropy term은 잠재 분포의 비퇴화된 불확실성을 유지한다. 이 항이 latent collapse 방지에 필수라는 학습 원리를 도출했다.

생성 우선 학습 전략 GenFirst

생성 목적이 약한 복원 압력 아래에서 잠재 공간의 구조를 먼저 형성하도록 한 뒤, 학습이 진행될수록 복원 목적을 강화해 시각적 세부 정보를 회복한다. 이를 통해 직접적인 end-to-end 학습에서 생성과 복원의 충돌을 줄였다.

서로 다른 prior와 양상으로 범용성 평가

정확한 likelihood를 갖는 연속 autoregressive prior와 implicit likelihood를 갖는 SiT prior에 동일한 end-to-end 원리를 적용했다. ImageNet-256 생성, text-to-image generation, shared visual latents, 통합 text-image generation으로 적용 범위를 넓혔다.

핵심 아이디어 이해하기

Variational Autoencoder는 입력 이미지를 잠재 변수로 바꾼 뒤 디코더가 원본을 복원하도록 학습한다. 일반적인 2단계 구조에서는 이 잠재 표현을 고정하고 별도의 생성 모델을 학습하지만, 복원에 유리한 표현이 생성 모델이 배우기 쉬운 구조라는 보장은 없다. 두 단계를 동시에 학습하면 생성 모델이 아직 유용한 잠재 구조를 만들기 전에 복원 손실이 강하게 작용해 잠재 변수가 무시될 수 있다.

이 현상을 latent collapse로 볼 수 있다. posterior가 입력마다 충분히 다른 값을 유지하지 못하고 좁은 분포로 수축하면, 디코더는 잠재 변수 없이도 복원하는 방향을 택한다. Kullback–Leibler divergence에서 posterior와 prior의 차이를 줄이는 항과 복원 목적은 이런 수축을 유도할 수 있지만, entropy term은 posterior의 불확실성과 퍼짐을 보존해 잠재 공간이 비퇴화 상태로 남도록 한다.

두 목표의 학습 속도도 대칭적이지 않다. 복원은 원본 이미지라는 강한 감독 신호를 직접 사용하므로 빠르게 개선되지만, 생성은 잠재 분포 전체의 구조를 학습해야 해 더 느리고 최적화가 어렵다. GenFirst는 이 순서를 반영해 초기에는 생성 목적이 잠재 공간을 형성하게 하고, 이후 복원 압력을 점진적으로 높여 세부 정보를 회복한다.

결과적으로 잠재 공간이 먼저 생성에 필요한 구조를 갖춘 뒤 복원 품질을 확보한다. 이 원리는 특정 생성 prior 하나에만 의존하지 않고 연속 autoregressive prior와 SiT prior에 적용되며, 이미지 생성뿐 아니라 representation learning과 text-image 생성에도 확장된다.

방법론

표준 latent generative model은 먼저 Variational Autoencoder로 이미지를 잠재 표현에 압축하고 복원한 다음, VAE를 고정한 채 잠재 공간의 생성 모델을 학습한다. 이 연구는 두 단계를 직접 end-to-end로 연결해 encoder, decoder, generative prior가 함께 학습되는 조건을 검토한다. 입력 이미지는 encoder를 거쳐 posterior가 되고, prior는 이 잠재 분포의 구조를 학습하며, decoder는 잠재 표현을 다시 이미지로 변환한다.

학습 목적은 복원과 prior fitting, 그리고 Kullback–Leibler divergence에 포함된 entropy의 상호작용으로 구성된다. posterior와 prior의 차이를 줄이는 과정과 복원 과정은 잠재 분포를 축소할 수 있지만, entropy term은 posterior의 불확실성을 유지한다. 입력 posterior와 prior 사이의 분포 차이를 줄이면서 entropy를 보존하고, 그 결과 잠재 변수가 입력별 정보를 계속 전달하도록 만드는 흐름이다.

GenFirst에서는 생성 목적을 먼저 강하게 반영하고 복원 압력은 약하게 둔다. 생성 prior가 잠재 공간의 전역 구조를 학습한 뒤 복원 목적을 점진적으로 강화하며, decoder가 시각적 세부 정보를 회복하도록 한다. 이는 빠르고 강한 감독을 받는 복원이 느리고 최적화가 어려운 생성 학습을 초기에 압도하지 않도록 학습 동역학의 순서를 조정하는 방식이다.

생성 prior는 두 종류로 평가한다. 하나는 exact likelihood를 계산할 수 있는 continuous autoregressive prior이고, 다른 하나는 implicit likelihood를 갖는 SiT prior이다. 두 prior에 같은 end-to-end 목적과 GenFirst 학습 순서를 적용해 특정 likelihood 방식에 국한되지 않는지 확인한다. 이후 shared visual latents를 generation과 representation learning에 함께 사용하고, continuous unified text-image generation으로 확장한다.

주요 결과

SiT를 ImageNet-256에서 평가한 결과, CFG를 사용하면 gFID 0.97, 사용하지 않으면 1.45를 기록했다. gFID는 생성 이미지와 실제 이미지의 분포 차이를 수치화하는 지표이므로 값이 낮을수록 두 분포가 가까운 결과를 뜻하며, 이 실험에서는 CFG 적용 여부에 따라 생성 품질 지표가 달라졌다.

MMDiT를 text-to-image generation에 적용했을 때 GenEval 점수는 0.90이었다. 텍스트 조건을 입력으로 받아 이미지 생성 결과를 평가하는 설정에서 얻은 수치이며, ImageNet-256의 클래스 조건 생성과 별도로 text-image 조건에서도 end-to-end latent learning을 확인했다.

논문은 exact likelihood 기반 continuous autoregressive prior와 implicit likelihood 기반 SiT prior 모두에서 동일한 학습 원리를 평가했다. 또한 generation과 representation learning을 위한 shared visual latents, continuous unified text-image generation으로 범위를 확장해 특정 생성 모델이나 단일 modality에 한정되지 않는 적용 가능성을 확인했다.

기술 상세

두 단계 pipeline에서는 VAE가 입력 이미지에서 posterior latent를 만들고 decoder가 이를 복원한 뒤, 고정된 latent space에서 별도의 generative prior를 학습한다. 이 논문은 encoder와 decoder를 고정하지 않고 prior와 함께 최적화해 잠재 표현 자체가 생성 목적에 맞춰 변하도록 구성한다.

핵심 문제는 KL divergence 목적 안의 항들이 잠재 공간에 서로 다른 압력을 가한다는 점이다. posterior와 prior의 차이를 줄이는 prior fitting과 reconstruction은 posterior를 수축시키는 방향으로 작용할 수 있고, entropy term은 posterior의 불확실성을 보존한다. 입력별 posterior를 prior에 맞추는 동시에 분포의 퍼짐을 유지해야 잠재 변수가 하나의 상태로 붕괴하지 않는다.

학습 동역학에서는 reconstruction이 강한 직접 감독을 받아 빠르게 최적화되고 generation은 더 느리게 최적화된다. 따라서 두 손실을 처음부터 같은 압력으로 적용하면 복원 목적이 잠재 공간 형성을 지배할 수 있다. GenFirst는 먼저 generative objective가 잠재 공간의 구조를 만들도록 한 뒤 reconstruction objective를 점진적으로 강화해 이 비대칭을 학습 순서에 반영한다.

검증에는 continuous autoregressive priors와 SiT priors를 사용한다. 전자는 exact likelihood를 제공하고 후자는 implicit likelihood를 제공하므로, likelihood 계산 방식이 다른 prior에서도 잠재 붕괴 없는 직접 학습이 가능한지 비교할 수 있다. 추가로 MMDiT의 text-to-image generation과 shared visual latents, unified text-image generation에 적용해 modality와 학습 목적의 확장을 평가한다.

실무 활용

생성 모델과 Variational Autoencoder를 분리하지 않고 함께 학습해야 하는 시스템에서 GenFirst의 학습 순서를 적용할 수 있다. 초기 생성 구조 형성 후 복원 세부 정보를 강화하므로 image generation, text-to-image generation, representation learning을 하나의 잠재 공간에서 묶는 설계에 활용할 수 있다.

ImageNet-256 기반 class-conditional image generation
MMDiT를 활용한 text-to-image generation
생성과 representation learning을 함께 수행하는 shared visual latents
continuous unified text-image generation

코드 공개 여부: 미확인

키워드

Variational Autoencoder(변분 오토인코더)latent collapse(잠재 붕괴)Kullback–Leibler divergence(KL 발산)entropy(엔트로피)GenFirst(생성 우선 학습)SiT(확산 Transformer prior)ImageNet-256(이미지 생성 벤치마크)text-to-image generation(텍스트-이미지 생성)

용어 해설

변분 오토인코더(Variational Autoencoder): — 입력 이미지를 잠재 표현으로 압축한 뒤 다시 복원하는 생성 모델이다. 인코더는 posterior를 만들고 디코더는 잠재 변수에서 이미지를 복원하며, 학습 과정에서 복원 품질과 prior에 맞는 잠재 분포를 함께 조정한다.
잠재 붕괴(Latent Collapse): — 잠재 변수가 입력의 정보를 충분히 담지 못하고 거의 동일한 분포로 수렴하는 현상이다. 디코더가 잠재 표현을 무시하면 복원에는 성공해도 생성 모델이 활용할 의미 있는 시각 정보가 사라진다.
Kullback–Leibler 발산(Kullback–Leibler Divergence): — 두 확률 분포가 얼마나 다른지 측정하는 값이다. VAE에서는 이미지별 posterior와 prior의 차이를 계산해 잠재 공간을 정돈하지만, 복원 목적과 prior 적합 목적만 강하면 posterior가 지나치게 수축할 수 있다.
엔트로피(Entropy): — 확률 분포의 불확실성과 퍼짐 정도를 나타내는 값이다. 이 연구의 KL divergence 목적에서는 posterior의 엔트로피 항이 잠재 분포의 불확실성을 유지해 모든 입력이 같은 잠재 상태로 몰리는 현상을 막는 역할을 한다.
Classifier-Free Guidance: — 조건 입력을 사용한 생성 결과와 조건 없이 생성한 결과의 차이를 이용해 조건 반영 강도를 조절하는 방법이다. 이 논문은 ImageNet-256 결과에서 CFG 사용 여부에 따른 SiT의 gFID를 따로 보고한다.

GenFirst로 잠재 붕괴 없는 생성 학습

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 기사

정적 Fréchet 손실의 허점을 보완하는 AdvFD

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

실무 활용

키워드

관련 토론

댓글

관련 기사

정적 Fréchet 손실의 허점을 보완하는 AdvFD