모든 레이어가 평등한 것은 아니다: 개인화된 이미지 생성을 위한 적응형 LoRA 랭크

기존 LoRA는 모든 레이어에 동일한 랭크를 할당하여 불필요한 메모리를 낭비하거나 복잡한 피사체 표현에 한계를 보였다. 이 연구는 각 레이어가 스스로 필요한 랭크를 결정하게 함으로써, 적은 자원으로도 실물과 똑같은 이미지를 생성할 수 있는 효율적인 개인화 기술을 제공한다.

LoRA는 거대한 모델 전체를 학습시키는 대신 가중치 행렬 사이에 작은 '통로(Rank)'를 만들어 효율적으로 학습하는 기법이다. 하지만 기존 방식은 모든 통로의 너비를 똑같이 설정한다. 이는 마치 모든 도로의 차선 수를 교통량과 상관없이 동일하게 맞추는 것과 같아, 한산한 곳은 자원이 낭비되고 붐비는 곳은 정보가 누락되는 문제가 발생한다.

LoRA²는 각 레이어(도로)가 스스로 차선 수를 조절하게 만든다. 변분 추론이라는 통계적 기법을 사용하여 각 차선에 '중요도' 점수를 매긴다. 학습 과정에서 모델은 손실 함수를 최소화하기 위해 정말 필요한 차선에만 높은 점수를 주고, 나머지는 0에 가깝게 줄여버린다.

결과적으로 복잡한 질감을 표현해야 하는 레이어는 높은 랭크를 유지하고, 단순한 배경을 처리하는 레이어는 낮은 랭크로 수렴한다. 이를 통해 전체 파라미터 수는 획기적으로 줄어들면서도, 피사체의 세부 특징(예: 시계의 숫자 3)은 고정 랭크 방식보다 훨씬 정확하게 재현하는 것이 가능해진다.

LoRA²는 각 LoRA 컴포넌트 ℓ에 대해 연속적인 확률 변수 ν_ℓ을 도입하여 유효 랭크 D_ℓ을 제어한다. 이는 Adaptive Width Neural Networks(AWN)의 개념을 LoRA의 랭크 차원에 적용한 구조를 가진다.

이산화된 지수 분포 f_ℓ(x; ν_ℓ) = (1 - e^{-ν_ℓ(x+1)}) - (1 - e^{-ν_ℓ x})를 사용하여 각 랭크 인덱스의 중요도를 계산한다. [학습 가능한 파라미터 ν_ℓ을 입력으로] → [지수 함수 연산을 통해 인덱스별 가중치를 산출하여] → [대각 행렬 Λ_ℓ을 생성하고] → [이 값이 LoRA 가중치 B_ℓ, A_ℓ 사이의 스케일링 인자로 작용하여 특정 랭크의 기여도를 결정한다].

최종 손실 함수는 재구성 오차(L_MSE), 랭크 정규화(L_reg), 그리고 텍스트-이미지 정렬을 위한 엔트로피 손실(L_entropy)의 합으로 구성된다. [ν_ℓ과 타겟 랭크 ν_target의 차이를 계산하여] → [절대값 합산을 수행해] → [L_reg를 얻고] → [모델이 목표로 하는 콤팩트한 크기를 유지하도록 강제한다].

SDXL 및 KOALA-700m 백본을 사용한 29개 피사체 실험에서 LoRA²는 고정 랭크 모델들보다 우수한 성능-메모리 효율을 기록했다. 특히 DINO 및 CLIP-I 점수에서 고정 랭크 512 모델과 대등한 수준의 피사체 재현력을 보였다.

메모리 사용량 측면에서 SDXL 기준 고정 랭크 512 모델은 약 2.8GB를 차지하는 반면, LoRA²는 평균 406MB(약 85% 감소)만 사용하면서도 피사체의 세부 디테일을 더 정확하게 복원했다. 이는 불필요한 레이어의 랭크가 1로 수렴하며 파라미터를 절약한 결과이다.

Ablation study 결과, 랭크 정규화(λ_r)를 제거하면 파일 크기가 2.7GB로 급증하며, 엔트로피 손실(λ_e)은 텍스트 프롬프트와의 정렬(CLIP-T) 성능을 유지하는 데 필수적인 역할을 수행함이 확인됐다.

LoRA²는 ΔW_ℓ = B_ℓ Λ_ℓ A_ℓ 구조를 채택하며, 여기서 Λ_ℓ은 학습 가능한 파라미터 ν_ℓ에 의해 결정되는 대각 행렬이다. 이는 랭크 차원에 명시적인 중요도 순서를 부여하여 미분 가능한 방식으로 랭크 선택 문제를 해결한다.

변분 프레임워크를 통해 증거 하한(ELBO)을 최대화하는 방식으로 수식화되었다. 가중치 A_ℓ은 Λ_ℓ에 의한 그래디언트 변화를 보정하기 위해 특수한 스케일링 인자가 포함된 Gaussian 분포로 초기화되는 'Rescaled Kaiming Initialization'을 사용한다.

기존 AdaLoRA와 달리 이미지 생성 도메인의 개인화 작업에 특화되어 있으며, 텍스트-이미지 정렬과 피사체 보존 사이의 트레이드오프를 조절하기 위해 크로스 어텐션 맵의 엔트로피를 최소화하는 항을 추가하여 최적화 안정성을 높였다.

현재 평가는 개인화된 피사체 학습에 집중되어 있으며 스타일 학습으로의 확장은 향후 과제임. 모델 머징 시 서로 다른 랭크를 가진 어댑터들을 결합하기 위해 낮은 랭크의 어댑터를 확장해야 하는 기술적 제약이 존재함. 복잡한 프롬프트에서 배경 색상이 피사체로 번지는 현상이 간혹 발생함.