LISA — 시각 조건 제어 생성을 위한 Likelihood Score Alignment

시각적 조건을 가진 이미지와 비디오 생성에서 사이드 네트워크가 조건 제어를 담당하지만 그 학습 신호는 암묵적이어서 수렴이 느리고 조건 충실도가 떨어지는 문제가 존재한다. 이 논문은 사이드 네트워크의 중간 피처를 우도 스코어 근사치와 직접 정렬함으로써 조건 신호를 명시적으로 강화하고 학습 효율을 개선했다. 결과적으로 학습 단계에서 수렴 가속과 최종 합성 품질 개선이 동시에 관찰되었다.

조건부 확산 생성에서 목표는 시간 t에서의 조건부 점수와 무조건 점수의 조합으로 샘플을 역전달하는 것이다. 이때 무조건 점수는 사전학습된 메인 네트워크가 근사하고, 사이드 네트워크는 조건에 따른 잔차 보정을 담당한다. 잔차 보정 항은 베이즈 규칙에 의해 우도 스코어로 표현되며, 사이드 네트워크가 정확히 이 우도 스코어를 학습하면 조건 충실도가 향상된다는 관찰이 출발점이다.

우도 스코어 근사치는 클린 샘플에 대한 조건부 스코어에서 무조건 스코어를 뺀 샘플별 차이로 구성된다. 구체적으로 먼저 클린 샘플 기준의 denoising 타깃 ∇_{x_t} log p_t(x_t|x_0)을 얻고, 메인 네트워크를 조건 주입 없이 순전파하여 s_θ(x_t,t)을 계산한다. 이 둘의 차이를 우도 스코어 근사치로 삼아 사이드 네트워크의 특정 중간 레이어 출력 r^k_φ(x_t,c,t)를 경량 디코더 D_ψ로 스코어 공간으로 사상한 값과 정렬 목표로 삼는다.

이미지 조건들에서 LISA는 학습 초기 단계에서 수렴을 가속하며 최종 품질을 향상시켰다. 예를 들어 pose 조건에서는 ControlNet 대비 초기 단계에서 PCK가 대폭 개선되었고, depth 조건에서는 더 적은 학습 반복으로 더 나은 FID와 RMSE를 얻었다. 아블레이션에서 정렬 깊이와 가중치 λ의 선택이 성능에 민감함이 관찰되었고, 기본 구성으로 depth=5와 λ=0.2가 균형을 이루었다.

전체 아키텍처는 동결된 메인 네트워크와 학습 가능한 사이드 네트워크로 구성되며, 사이드 네트워크의 선택된 중간 레이어 출력을 메인 네트워크의 대응 레이어에 feature addition으로 주입한다. 우도 스코어 정렬을 위한 경량 디코더 D_ψ는 합성곱과 활성화 및 업샘플링 계층으로 구성되며 일반적으로 사이드 네트워크 파라미터의 약 0.1퍼센트 규모이다. 학습 손실은 표준 denoising 손실과 LISA 정규화 항의 합으로 정의되며, 정규화 항은 stop-gradient를 사용해 목표 우도 스코어의 그라디언트 전파를 차단한다.

아블레이션 결과 우도 스코어 정렬 깊이와 정규화 가중치 λ에 따라 성능 편차가 발생하여 하이퍼파라미터 튜닝이 필요하다. 우도 스코어 근사는 단일 샘플의 denoising 타깃과 무조건 스코어 차이에 기반하므로 근사 잡음이 포함될 수 있으며 이로 인해 일부 조건에서 과도한 제약이 발생할 수 있다. 또한 본 접근은 쌍으로 이루어진 (x_0,c) 데이터가 요구되므로 라벨링이나 페어 데이터가 부족한 도메인에서는 적용이 제한될 수 있다.