EX-FIQA: 얼굴 이미지 품질 평가를 위한 Vision Transformer의 중간 조기 종료 표현 활용

기존의 얼굴 이미지 품질 평가(FIQA)는 딥러닝 모델의 마지막 층 결과물만 사용했으나, 본 논문은 중간 층에서도 유의미한 품질 정보가 생성됨을 최초로 입증했다. 이를 통해 연산량을 최대 50% 절감하면서도 최신 기술(SOTA) 수준의 정확도를 유지할 수 있어 저사양 기기에서의 실시간 얼굴 인식 시스템 구축에 기여한다.

기존의 얼굴 이미지 품질 평가는 딥러닝 모델이 모든 연산을 마친 최종 출력값에만 의존했다. 하지만 이미지의 선명도나 노이즈 같은 저수준 특징은 모델의 초기 층에서 이미 파악되며, 얼굴의 각도나 가려짐 같은 고수준 특징은 중간 층에서 형성된다. Transformer 아키텍처는 모든 층에서 데이터의 크기(Dimension)가 일정하게 유지되므로, 마지막 층을 위해 학습된 평가 도구를 중간 층에 그대로 적용할 수 있다는 점에 착안했다.

실제로 분석 결과, 모델의 6~10번째 블록만으로도 최종 층과 유사한 수준의 품질 평가가 가능함을 확인했다. 이는 굳이 끝까지 계산하지 않아도 이미지의 '인식 적합성'을 충분히 판단할 수 있음을 의미한다. 논문은 이를 활용해 연산 자원이 부족한 상황에서는 중간에서 계산을 멈추고, 정확도가 중요한 상황에서는 여러 층의 결과를 조합하는 유연한 접근 방식을 제안한다.

ViT-FIQA 아키텍처를 기반으로 12개의 Transformer 블록 각각에 조기 종료 지점을 설정한다. ViT는 모든 블록에서 토큰의 차원 D=512를 유지하므로, 마지막 층의 출력을 처리하도록 설계된 기존의 Regression Head를 중간 층의 출력에 별도의 수정 없이 재사용한다.

EX-FIQA-FW(Fusion Weighted) 전략은 각 층 l에서 계산된 품질 점수 s_l에 가중치 w_l을 곱해 합산한다. 이때 w_l은 레이어의 깊이 l에 비례하도록 설정(w_l ∝ l)하여, 더 깊은 층에서 추출된 고차원 정보에 더 높은 비중을 둔다. [각 층의 품질 점수 입력 → 깊이 기반 가중치 연산 → 최종 융합 점수 출력 → 이미지의 종합적 인식 유틸리티 의미]

IJB-C와 같은 대규모 벤치마크에서 EX-FIQA-FW 방식은 기존 SOTA 모델들을 능가하는 성능을 기록했다. 특히 ArcFace 모델 기준, Adience 데이터셋에서 pAUC-EDC 수치를 기존 9.948에서 9.768로 개선했다. 효율성 측면에서는 EX-FIQA (T) 모델의 6번 블록에서 종료할 경우, 성능 손실을 최소화하면서도 연산량(FLOPs)을 50% 절감하는 성과를 거두었다.

본 연구는 ViT-FIQA(T)와 ViT-FIQA(C) 두 가지 변체에 대해 실험을 진행했다. (T) 모델은 별도의 Quality Token을 사용하고, (C) 모델은 모든 패치 토큰을 결합하여 사용한다. ViT의 구조적 일관성(Structural Consistency) 덕분에 중간 층의 토큰 표현이 최종 층과 동일한 벡터 공간에 존재하며, 이를 통해 파라미터 재사용(Parameter Reusability)이 가능함을 이론적/실험적으로 증명했다. 특히 Attention Map 분석을 통해 초기 층은 국소적 패턴에, 중간 층은 얼굴의 구조적 관계에 집중함을 시각화하여 중간 표현의 유효성을 뒷받침했다.

EX-FIQA (C) 모델의 경우, 두 개의 레이어로 구성된 특징 네트워크(Feature Network)를 매 종료 지점마다 실행해야 하므로 (T) 모델에 비해 연산 오버헤드가 상대적으로 높게 발생한다.