텍스트-투-이미지 퍼스널라이제이션의 정체성 토큰을 이용한 국소적이고 연속적인 정체성 튜닝

사람 얼굴의 미세한 변화는 인식되는 정체성에 큰 영향을 미치며, 기존 텍스트-기반 퍼스널라이제이션 방법은 원하는 국소 속성을 안정적으로 제어하는 데 한계가 있었다. 본 연구는 퍼스널라이제이션 인코더의 정체성 토큰 공간에서 의미 있는 선형 방향과 토큰 그룹을 발견해 특정 얼굴 부위의 속성을 연속적으로 조절할 수 있게 했다. 추가 학습 없이 기존 엔코더 아키텍처만으로 동작하므로 다양한 프롬프트와 장면에서 동일한 편집된 정체성을 재현하는 실용적 이점을 제공한다.

퍼스널라이제이션 인코더는 입력 이미지 집합을 압축해 고정 길이의 정체성 토큰 벡터 Z∈ℝ^{N×C}로 표현하며, 이 토큰들 각각이 교차어텐션을 통해 얼굴의 특정 공간적·의미적 요소를 요약한다. 따라서 전체 표현을 단일 벡터로 단순 조작하면 전역적 변화는 만들 수 있지만 국소적 제어가 어려운 반면, 개별 토큰 혹은 토큰 부분집합을 조작하면 공간적으로 국한된 속성 변화가 유도된다. 이 관찰을 출발점으로 삼아 토큰 선택과 선형 방향 발견을 결합하면 학습 없이도 원하는 얼굴 부위를 연속적으로 조절할 수 있다는 직관이 핵심이다.

토큰 선택 단계에서는 패치 기반 이미지 쌍을 만들어 동일한 얼굴 부위만 변경한 뒤 각 토큰의 차분 벡터 ΔZ_n의 ℓ2 노름을 측정해 상위 k개의 토큰을 선택한다. 이 방식은 짧은 데이터 수(예: 5쌍)로도 반복적으로 등장하는 토큰을 안정적으로 식별하며, 전역 속성은 CelebA 같은 레이블을 이용해 단일 토큰별 SVM 정확도를 기준으로 토큰을 선택한다. 이렇게 선택된 토큰 집합 S를 편집 대상으로 삼으면 조작의 지역성과 일관성이 유지된다.

편집 자체는 선형 연산으로 구성되며 감독적·비감독적 방법을 모두 적용한다. 감독적 방법은 양성·음성 샘플의 평균 차이나 SVM의 하이퍼플레인 법선을 편집 방향으로 사용하며, 비감독적 방법은 정체성 벡터에 대해 PCA를 수행해 주요 성분을 추출한다. 모든 경우에 대해 편집은 벡터를 데이터 평균으로 중심화한 뒤 방향을 더하고 원래 노름을 보존하도록 재스케일링하는 식으로 적용되어 분포적 왜곡을 줄인다.

전체 파이프라인은 입력 이미지들을 사전 학습된 이미지 인코더와 Q-Former로 처리해 N개의 정체성 토큰 Z를 얻는 단계, 편집할 토큰 집합 S를 선택하는 단계, 그리고 선택된 토큰에 선형 방향을 적용해 수정된 정체성 Z'를 생성하는 단계로 구성된다. 이 과정을 위해 저자들은 패치 기반 차이 산출, 단일 토큰별 SVM 검증, 감독적 평균-차 및 SVM 방향, 그리고 PCA 기반 비감독 방향을 체계적으로 적용해 각 단계의 역할을 분리했다.

토큰 선택에서는 국소 속성마다 (예: 눈, 입) 패치로 합성한 이미지 쌍(I, I_patch)을 만들고 ΔZ = Z(I_patch) − Z(I)를 계산해 각 토큰의 기여도를 ‖ΔZ_n‖2로 측정한다. 여러 쌍을 집계해 자주 상위 k에 드는 토큰들을 선택하면 토큰 집합 S가 얻어지고 이 집합은 다른 정체성에도 재사용 가능하다. 전역 속성의 경우에는 각 토큰의 특성 벡터에 대해 선형 SVM을 학습해 검증 정확도 m{n,a}가 threshold τ 이상인 토큰들을 선택한다.

선형 편집은 벡터 z를 데이터 평균  z로 중심화한 뒤 단위 방향 v를 α 스케일로 더하고 결과 벡터의 노름을 원래와 동일하게 맞추는 수식(e와 z′의 정규화 식)을 사용한다. 이 정규화는 편집 강도를 제어하면서 분포 스케일을 보존해 급격한 분포 이탈로 인한 품질 저하를 억제한다. 또한 토큰 단위, 토큰 그룹 단위, 전역(벡터화된 Z 전체) 단위로 동일 연산을 적용해 편집의 국소성-전역성 트레이드오프를 실험적으로 탐색했다.

정성적 결과에서 저자들은 눈의 개방도, 콧모양 변경, 수염 추가, 주근깨 등 텍스트로 표현하기 어려운 미세한 얼굴 속성들을 토큰 조작으로 연속적이고 지역적으로 조절한 샘플을 제시했다. 전역 보간, 토큰별 PCA, 그룹 PCA 등 서로 다른 수준의 제어에서 토큰 그룹을 적절히 선택하면 눈 색깔과 같은 국소 속성은 토큰별 PCA가, 나이·전반적 외형과 같은 전역 속성은 전역 PCA가 더 적합함이 관찰되었다. 또한 SVM 기반 방향은 미세한 속성에서 더 정밀한 편집을 이루는 반면 평균-차 방식은 큰 변화에 더 잘 작동한다는 계량적·직관적 비교가 제공되었다.

정량평가에서는 ArcFace 임베딩으로 생성 이미지들 간의 평균 쌍별 코사인 유사도를 계산해 정체성 일관성을 측정했고, VQA 기반 판정자를 이용해 편집 준수도와 프롬프트 준수도를 평가했다. 표에 따르면 Omni-ID 기반으로는 기본 편집에서 ID 일관성 0.47, 편집 준수 0.79, 프롬프트 준수 0.91을 기록했고 PuLID 기반에서는 일부 지표가 더 높았으며, 대조군인 PreciseControl과 Weights2Weights는 전반적으로 낮은 일관성과 준수도를 보였다. 사용자 연구에서도 본 방법은 W2W 대비 전 항목에서 94%의 우세를 기록했으며 Kontext Direct와 Sequential 대비 각각 전체 선호 85%와 83%의 우위를 보였다.

추가적으로 Ablation에서 토큰 단일 조작은 국소적이나 효과가 작았고, 전역 조작은 강하지만 국소 제어가 불명확해 대부분 속성은 적절한 토큰 부분집합을 수정해야 정밀한 편집이 가능함이 확인되었다. 저자들은 또한 일부 자동 지표가 질적 아티팩트를 포착하지 못해 메트릭 설계의 한계가 존재함을 수치와 사례로 함께 보고했다.

전체 아키텍처는 사전학습된 이미지 인코더와 Q-Former 어댑터를 사용해 입력 이미지 집합을 N개의 정체성 토큰 Z∈ℝ^{N×C}로 매핑한 뒤, 이 토큰들을 디퓨전 모델의 디커플드 크로스어텐션 층에 주입하는 IP-Adapter 계열 구성 위에 구축되었다. 실험에는 Omni-ID와 PuLID 인코더를 사용했고 FFHQ 데이터를 PCA 계산용으로, CelebA를 감독적 방향 학습용 레이블 데이터로 활용했다. 편집 연산은 vec(Z), Z_n, vec(Z_S) 중 하나의 표현을 선택해 M차원 벡터로 취급한 뒤 선형 방향 v를 더하고 원래 데이터 평균과의 거리 보존을 위해 재스케일하는 수식을 적용해 분포 스케일을 유지했다.

토큰 선택 알고리즘은 두 경로로 구성되어 국소 속성의 경우에는 원본-패치 쌍을 생성해 ΔZ=Z(I_patch)−Z(I)를 계산하고 각 토큰의 기여도를 ‖ΔZ_n‖2로 측정해 상위 k 토큰을 선택한다. 전역 속성의 경우에는 각 토큰 인스턴스에 대해 선형 SVM f{n,a}를 학습해 검증 정확도 m_{n,a}가 기준 τ 이상인 토큰들을 A_a로 선정한다. 이들 선택 과정은 속성별로 한 번 수행해 다른 정체성에도 재사용되도록 설계되어 편집 비용을 낮춘다.

감독적 편집 방향은 평균 차 d_{attr}=μ_+−μ_- 또는 SVM의 노멀 w를 단위 노름으로 정규화한 v_svm=w/‖w‖_2를 사용하며, 비감독적 방향은 정체성 벡터 집합에 대해 PCA를 수행해 주성분을 편집 축으로 사용했다. 편집 적용 식은 e=(z−z)+α·v, z'= z + e·(‖z−z‖_2/‖e‖_2)로 정의되어 중심화와 노름 보존을 결합한다. 이 수식은 입력-처리-출력 관점에서 입력 z를 평균 중심화한 뒤 방향을 추가하고 출력 z'가 원래 평균으로부터 같은 크기의 거리를 갖도록 조정한다.

구현 세부에서는 FFHQ에서 추출한 대규모 벡터 집합으로 PCA 모드를 계산했고 CelebA 레이블로 SVM을 학습해 글로벌 토큰 후보를 찾았다. 실험은 Flux.dev 기반 디퓨전 모델에 토큰을 주입해 생성 결과를 얻는 방식으로 수행되었으며, 추가적인 구현·하이퍼파라미터 상세는 논문 부록을 참조해야 한다.

퍼스널라이제이션 인코더가 정체성과 이미지 구성(layout/pose)을 완전히 분리하지 못해 전역 보간 등에서 레이아웃 변화가 동반될 수 있음이 논문에 명시되어 있다. 자동화된 계량 지표는 국소적 아티팩트나 미세한 품질 저하를 완전히 포착하지 못해 정성적 검토가 여전히 필요함이 관찰되었다. 또한 토큰별 정보 분산으로 인해 단일 토큰만의 조작으로는 충분한 효과를 얻지 못하는 경우가 있어 적절한 토큰 집합 선택이 편집 성공의 전제라는 한계가 존재한다.