개인별 취향에 맞춘 텍스트-이미지 생성 개인화

기존의 이미지 생성 AI는 대중적인 선호도를 평균화한 결과물을 내놓기 때문에 개인의 독특한 미적 취향을 반영하지 못하는 한계가 있다. 이 논문은 개인별 미적 판단의 주관성을 학습할 수 있는 대규모 데이터셋과 예측 모델을 통해, 사용자가 선호하는 구도와 색감 등을 정확히 파악하여 맞춤형 이미지를 생성하는 기술적 토대를 마련했다.

기존의 텍스트-이미지 모델은 RLHF를 통해 '평균적인 인간'이 좋아할 법한 이미지를 생성하도록 학습된다. 이는 마치 모든 사람에게 대중음악 차트 1위 곡만 추천하는 것과 같아서, 인디 음악이나 특정 장르를 선호하는 개인의 취향은 무시되는 결과를 초래한다. 특히 미적 판단은 주관성이 강해 동일한 프롬프트에서도 사용자가 기대하는 시각적 스타일은 천차만별이다.

이 논문은 사용자의 과거 평가 이력과 인구통계학적 특성을 Embedding 공간에 투영하여 모델이 '누가' 이 이미지를 보는지 인지하게 만든다. Transformer 아키텍처를 활용해 이미지의 시각적 정보와 사용자의 프로필 정보를 결합함으로써, 특정 사용자가 부여할 점수를 예측하는 개인화된 함수를 학습한다.

결과적으로 모델은 단순히 '예쁜 이미지'를 찾는 것이 아니라, '사용자 A가 좋아할 만한 구도와 질감을 가진 이미지'를 찾도록 가이드한다. 이를 통해 생성 AI는 대중의 평균에 수렴하는 천편일률적인 스타일에서 벗어나, 개별 사용자의 고유한 미적 감각에 정렬된 결과물을 제공할 수 있게 된다.

PAM∃LA Predictor는 시각적 특징, 텍스트 프롬프트, 사용자 정보를 결합하는 경량 Transformer 구조를 채택한다. 먼저 이미지와 프롬프트는 frozen 상태의 SigLIP2 Encoder를 통해 각각 벡터로 추출된다. 동시에 사용자의 연령, 성별, 예술 경험 등의 인구통계 정보와 이미지의 장르, 스타일 등 메타데이터를 자연어 형태로 직렬화한 뒤 Llama-embed-nemotron-8B Encoder를 사용하여 임베딩으로 변환한다.

추출된 모든 특징 벡터들은 MLP(Multi-Layer Perceptron)를 거쳐 동일한 차원으로 투영된 후, 하나의 Multimodal Token Sequence로 구성된다. 여기에 학습 가능한 [CLS] 토큰을 추가하여 Fusion Transformer Encoder에 입력한다. Transformer의 Self-Attention 메커니즘은 [이미지-텍스트-사용자-메타데이터] 간의 상관관계를 계산하여 통합된 표현을 생성한다.

최종적으로 [CLS] 토큰의 출력값은 Linear Regression Head를 통과하여 1~5점 사이의 개인화된 미적 점수를 예측한다. 학습 시에는 Mean Squared Error(MSE) 손실 함수를 사용하여 실제 사용자의 평점과 모델의 예측값 사이의 오차를 최소화하도록 가중치를 갱신한다. 새로운 사용자에 대해서는 k-최근접 이웃(k-NN) 방식을 사용하여 유사한 취향을 가진 기존 사용자들의 임베딩을 보간(Interpolation)하여 적용한다.

PAM∃LA 모델은 기존의 SOTA 범용 보상 모델인 HPSv3, Q-Align 등을 모든 지표에서 능가했다. 특히 개인별 선호도 예측 성능을 나타내는 User SROCC에서 0.4514를 기록하여 HPSv3(0.4019) 대비 유의미한 성능 향상을 보였다. Pairwise Accuracy(두 이미지 중 선호하는 것을 맞추는 확률)에서도 사용자 수준에서 66.31%를 달성했다.

프롬프트 최적화 실험 결과, 기존 모델들은 반복 최적화 시 채도가 지나치게 높거나 인위적인 'AI스러운' 이미지로 변질되는 경향(Reward Hacking)이 있었으나, PAM∃LA는 고해상도 실사 품질을 유지하면서 사용자가 선호하는 구도나 조명으로 이미지를 유도했다. 사용자 평가(User Study)에서도 PAM∃LA로 최적화된 이미지가 원본이나 타 모델 최적화 이미지보다 높은 Elo 점수를 획득하여 실제 사용자 만족도가 높음을 증명했다.

모델 아키텍처는 Frozen SigLIP2(Vision)와 Frozen Nemotron(Text)을 Backbone으로 사용하며, 중간의 MLP 레이어와 Fusion Transformer만 학습시키는 효율적인 구조를 가진다. 이는 대규모 언어 모델의 지식을 보존하면서 개인화된 미적 판단 능력만 주입하기 위함이다.

학습 데이터의 다양성을 확보하기 위해 AI 생성 이미지(PAM∃LA), 예술 작품(LAPIS), 일반 사진(PARA) 데이터셋을 공동 학습(Joint Training)하여 모델의 범용성을 높였다. 특히 'Unseen User'에 대한 일반화 성능을 높이기 위해, 새로운 사용자의 소수 평가 데이터(k=15)를 기반으로 기존 학습된 사용자들의 임베딩 공간에서 유사도를 계산하여 새로운 사용자 임베딩을 생성하는 Zero-shot 개인화 기법을 적용했다.

실험 분석에서 모델은 단순한 색감 변화를 넘어 조명 조건, 카메라 앵글, 시점과 같은 복합적인 구성 요소들을 사용자의 취향에 맞춰 조정하는 능력을 보여주었다. 또한 기존 모델들이 고채도 이미지를 고품질로 오인하는 편향(Bias)이 있음을 지적하고, 이를 사용자 그룹별(연령대 등) 분석을 통해 완화할 수 있음을 입증했다.

사용자 간의 의견 차이가 매우 극심한 경우(Diverging Preferences) 여전히 정확한 예측에 어려움이 있다. 또한 연속적인 평점 척도에서 발생하는 미세한 점수 차이(Near-ties)가 평가 시 노이즈로 작용하여 성능 지표를 왜곡할 수 있다는 점이 한계로 지적되었다.