조건 이동을 통한 자기 적대적 1단계 생성 기법

기존의 1단계 이미지 생성 모델은 세부 묘사가 부족하거나 학습이 불안정하다는 한계가 있었다. APEX는 외부 판별기 없이 모델 내부에서 스스로 적대적 신호를 생성하는 기술을 통해 학습 안정성을 확보하면서도 고해상도 이미지의 미세한 질감을 완벽하게 복원한다.

기존의 Diffusion 모델이나 Flow Matching 모델은 노이즈에서 이미지를 생성하기 위해 여러 번의 반복적인 계산(NFE)을 거친다. 이를 1단계로 줄이려는 시도는 많았으나, 단순히 정답 이미지와의 거리를 줄이는 Regression 방식은 고주파 질감(Fine Details)을 뭉개뜨리는 경향이 있고, 이를 해결하기 위해 외부 판별기를 도입하는 GAN 방식은 학습이 매우 불안정하다는 문제가 있었다.

APEX는 '모델이 현재 생성하고 있는 가짜 데이터의 분포를 모델 스스로가 가장 잘 알고 있다'는 점에 착안했다. 모델에 원래 조건(c) 대신 변형된 조건(cfake)을 입력하여 현재 모델이 생성 중인 궤적을 예측하게 함으로써, 외부 판별기 없이도 모델 내부에서 '진짜 같은 데이터'와 '현재 모델이 만드는 가짜 데이터' 사이의 차이를 계산해낼 수 있다.

이 과정은 딥러닝의 기초인 Gradient Descent를 통해 수행되는데, APEX는 이 차이를 줄이는 방향으로 모델을 업데이트한다. 결과적으로 모델은 별도의 판별기 없이도 스스로의 오류를 교정하며, 단 한 번의 연산만으로도 수십 번의 단계를 거친 교사 모델보다 더 정교한 이미지를 생성하게 된다.

APEX는 아핀 변환(Affine Transformation)을 이용한 Condition Shifting 기법을 핵심으로 사용한다. 원래의 조건 c에 대해 cfake = Ac + b 형태의 변환을 적용하여 가짜 조건 브랜치를 생성한다. 이때 행렬 A를 음의 스케일링(-aI)으로 설정하여 원래 조건과 최대한 대비되는 브랜치를 형성함으로써 모델의 내부 표현을 분리한다.

학습은 두 단계의 손실 함수를 통해 이루어진다. 첫째, Lfake는 모델이 변형된 조건 cfake를 받았을 때 현재 자신의 생성 출력물(xfake)을 재구성하도록 학습시킨다. [입력: cfake, xt → 연산: 모델 추론 → 출력: xfake 재구성] 과정을 통해 모델은 현재 자신의 생성 분포를 추적하는 독립적인 추정기가 된다.

둘째, Lmix는 실제 데이터와 모델의 생성물 사이를 보간한 타겟(Tmix)을 설정하여 모델을 최적화한다. [입력: c, xt → 연산: Tmix와의 차이 계산 → 출력: 보정된 그래디언트] 과정을 거치며, 이는 수학적으로 Fisher Divergence를 최소화하는 것과 동일한 효과를 낸다. 이 방식은 샘플에 따라 변하는 판별기 가중치 대신 고정된 가중치를 사용하여 학습의 수렴 속도를 비약적으로 향상시킨다.

APEX 0.6B 모델은 단 1단계(NFE=1) 생성만으로도 파라미터 수가 20배 더 많은 FLUX-Schnell 12B 모델의 품질을 넘어섰다. GenEval 벤치마크에서 APEX 0.6B는 0.84점을 기록하여 FLUX-Schnell(0.69점) 대비 압도적인 성능 향상을 보였다.

Qwen-Image 20B 모델에 LoRA 튜닝을 적용한 결과, 단 6시간의 학습만으로 GenEval 0.89점을 달성했다. 이는 50단계를 거치는 원본 교사 모델(0.87점)보다 높은 수치이며, 추론 속도는 약 15.33배 빨라졌다. 또한 NFE=2 설정에서는 0.90점을 기록하며 다단계 생성 모델과의 격차를 완전히 해소했다.

APEX는 Flow Matching 프레임워크 상에서 Score-Velocity Duality를 활용하여 KL Divergence의 그래디언트를 속도 공간(Velocity Space)으로 매핑한다. 이론적으로 APEX의 업데이트 규칙은 ∇θLGAN ∝ E[w(x)·(sθ(x) - sdata(x))·∂x/∂θ] 형태의 GAN 역학을 따르지만, 판별기 D(x)에 의존하는 불안정한 가중치 w(x)를 상수 1로 대체함으로써 Fisher Divergence 최소화 문제로 변환했다.

아키텍처 측면에서는 시간 임베딩을 수정해야 했던 기존의 TwinFlow와 달리, 조건 임베딩 공간만을 활용하므로 사전 학습된 모델의 가중치를 그대로 사용할 수 있는 'Architecture Preserving' 특성을 갖는다. 이는 특히 LoRA 튜닝 시에 강력한 이점을 제공하며, 실험적으로 A = -I, b = 0.1 수준의 하이퍼파라미터에서 가장 견고한 성능을 보임을 확인했다.

논문은 Condition Shifting을 위한 최적의 하이퍼파라미터(a, b)가 모델의 사전 학습 상태에 따라 달라질 수 있음을 언급하며, 극단적으로 양의 스케일링을 사용할 경우 조건 분리가 제대로 이루어지지 않아 성능이 저하될 수 있음을 지적했다.