StyleID: 스타일 변환에 강인한 얼굴 식별을 위한 인지 기반 데이터셋 및 지표

기존 얼굴 인식 모델은 사진 데이터에만 최적화되어 있어 만화나 추상화 같은 스타일 변환 시 정체성을 제대로 파악하지 못하는 한계가 있다. 이 논문은 인간의 인지 능력을 학습 데이터에 반영하여 스타일의 강도나 종류에 상관없이 인물을 정확히 식별할 수 있는 새로운 표준을 제시한다.

기존의 얼굴 인식 모델은 주로 Softmax 기반의 손실 함수를 사용하여 사진 도메인 내의 특징점(Landmark)을 구분하는 데 집중한다. 하지만 스타일 변환이 일어나면 질감, 색상, 기하학적 왜곡이 발생하며, 모델은 이를 정체성의 변화로 오인하거나 반대로 과도한 왜곡 속에서 정체성을 놓치는 취약성을 보인다.

StyleID는 인간이 스타일 변환된 이미지에서 정체성을 인식하는 '인지적 한계'를 학습 과정에 직접 주입한다. 인간이 동일인이라고 판단하는 스타일 강도의 임계값을 데이터셋 구축의 기준으로 삼아, 모델이 스타일이라는 노이즈를 걷어내고 정체성이라는 핵심 정보만을 추출하도록 유도한다.

결과적으로 모델은 스타일이 변하더라도 임베딩 공간에서 동일 인물의 벡터를 가깝게 유지하게 된다. 이는 단순한 이미지 유사도 비교를 넘어, 인간의 시각적 인지 체계와 정렬된 고차원적인 정체성 보존 능력을 갖추게 됨을 의미한다.

전체적인 접근 방식은 인간의 인지 데이터를 기반으로 한 데이터 정제와 이를 활용한 CLIP 모델의 미세 조정으로 요약된다. 먼저 IP-Adapter, InstantID, InfiniteYou 등 최신 생성 모델을 사용하여 다양한 스타일과 강도의 이미지를 생성하고, 인간 참여 실험을 통해 정체성이 유지되는 구간을 정의하는 심리 측정 곡선(Psychometric Curve)을 도출한다.

학습 단계에서는 CLIP-L 모델을 백본으로 사용하며, 효율적인 학습을 위해 LoRA(Low-Rank Adaptation)를 적용한다. 학습 목적 함수는 세 가지 손실 함수의 조합으로 구성된다. 첫째, ArcFace와 유사한 Angular Margin Loss(L_ang)를 사용하여 클래스 간의 각도 경계를 명확히 한다. 둘째, Supervised Contrastive Loss(L_scon)를 통해 동일 인물의 샘플들은 당기고 타인은 밀어내는 인스턴스 단위의 정렬을 수행한다. 셋째, Embedding Regularization(L_reg)을 통해 기존 CLIP이 가진 풍부한 시각 정보를 잃지 않도록 제약한다.

수학적으로 L_ang은 [정체성 벡터와 클래스 가중치 벡터 사이의 코사인 유사도 값에 마진 m을 더한 후] → [지수 함수를 취해 Softmax 연산을 수행하여] → [정답 클래스에 대한 확률값을 높이는 방향으로] → [모델의 가중치를 업데이트하여 정체성 간의 구별 성능을 극대화한다].

StyleBench-H 벤치마크에서 StyleID는 Cross-ID, Cross-Style, Cross-Method 모든 시나리오에서 기존 SOTA 모델인 ArcFace와 AdaFace를 압도했다. 특히 Cross-Method 평가에서 TPR(True Positive Rate) 0.7444를 기록하여, 0.3721에 그친 ArcFace 대비 약 2배 높은 성능을 보였다.

실제 예술가가 그린 초상화 데이터셋인 SKSF-A에서도 AUROC 0.9922를 달성하며 강력한 일반화 성능을 입증했다. 이는 학습에 사용되지 않은 극단적인 화풍이나 기법이 적용된 이미지에서도 인물의 정체성을 정확하게 찾아낼 수 있음을 의미한다.

효율성 측면에서도 StyleID_tiny 변환 모델은 연산량을 약 20배 줄이면서도 기존의 무거운 사진 기반 모델들보다 우수한 스타일 인식 성능을 유지하는 효율적인 트레이드오프를 보여주었다.

StyleID 아키텍처는 고정된 CLIP-L 비전 인코더에 LoRA 레이어를 삽입하여 스타일 불변(Style-invariant) 특징을 학습한다. 기존 연구들이 사진 도메인에 국한된 것과 달리, 본 연구는 스타일 강도(Style Strength)를 제어 가능한 변수로 설정하고 이에 따른 인간의 인식 확률을 손실 함수 가중치와 데이터 샘플링 전략에 반영했다.

구현 세부사항으로는 rank=8의 LoRA를 사용했으며, ArcFace 손실 함수에서 마진 m=0.5, 스케일 s=32를 설정했다. 학습 시에는 56개의 정체성당 2개의 샘플을 배치하여 대조 학습의 효율을 높였으며, AdamW 옵티마이저를 통해 30,000회 반복 학습을 수행했다. 특히 CLIP의 원래 임베딩 공간에서 너무 멀어지지 않도록 L2 정규화 항을 추가하여 모델의 안정성을 확보했다.

StyleBench-H 데이터셋이 젊은 백인 위주로 구성되어 있어 인종 및 연령대별 편향이 발생할 가능성이 있다. 또한, 극단적인 각도 변화나 폐색(Occlusion)이 동반된 스타일 변환 상황에서의 강인함은 아직 충분히 검증되지 않았으며, 향후 멀티모달 감독 학습과의 결합이 필요하다.