ATTN-FIQA: Vision Transformer를 활용한 해석 가능한 어텐션 기반 얼굴 이미지 품질 평가

얼굴 인식 시스템의 신뢰성을 높이기 위해서는 입력 이미지의 품질을 정확히 판단하는 것이 필수적이다. 이 논문은 별도의 추가 학습이나 복잡한 연산 없이 기학습된 Vision Transformer의 내부 어텐션 정보만으로 이미지 품질을 측정하는 효율적인 방법을 제시한다.

Vision Transformer(ViT)의 Self-Attention 메커니즘은 이미지 내의 여러 패치(이미지 조각) 간의 관계를 계산하여 중요한 특징에 집중한다. 기존 연구들은 이 어텐션 패턴이 사물의 중요도를 나타내는 'Saliency Map' 역할을 한다는 점에 주목해왔으나, 이를 직접적인 이미지 품질 수치로 변환하려는 시도는 드물었다.

일반적으로 어텐션 계산의 마지막 단계인 Softmax 함수는 모든 값을 확률 분포(합계 1)로 정규화한다. 이 과정에서 패치 간의 절대적인 유사도 강도 차이가 희석되는 문제가 발생한다. 본 논문은 Softmax를 적용하기 전의 원시 점수인 'Pre-softmax Attention'이 고품질 이미지에서는 특정 얼굴 특징점에 강하고 집중된 값을, 저품질 이미지에서는 분산되고 약한 값을 가진다는 점을 핵심 원리로 삼는다.

결과적으로 고품질 얼굴 이미지는 모델 내부에서 명확한 쿼리-키 정렬(Query-Key Alignment)을 만들어내어 높은 어텐션 수치를 기록하게 된다. 이를 통해 별도의 품질 측정용 모델을 만들지 않고도, 기존 인식 모델이 이미 내부적으로 계산하고 있는 숫자를 읽어오는 것만으로도 정확한 품질 평가가 가능해진다.

기학습된 ViT 기반 얼굴 인식 모델의 마지막 트랜스포머 블록에서 Pre-softmax Attention 행렬을 추출한다. 마지막 블록은 모델이 이미지를 모두 처리한 후의 가장 정제된 고수준 의미 정보를 담고 있기 때문에 품질 평가에 가장 적합하다.

추출된 행렬 A_raw는 [Q * K^T / sqrt(d)] 연산을 통해 계산된다. 여기서 Q(Query)와 K(Key) 행렬이 입력으로 주어질 때, 두 행렬의 내적을 계산하고 임베딩 차원의 제곱근으로 나누어 값이 너무 커지는 것을 방지한다. 이 결과값은 패치 간의 정규화되지 않은 친밀도를 의미하며, 높은 절댓값은 해당 영역 간의 강한 연관성을 나타낸다.

모든 어텐션 헤드(H)와 패치 쌍(N^2)에 대한 어텐션 값을 하나의 벡터로 평탄화(Flatten)한다. 이후 벡터 내의 모든 원소의 산술 평균을 계산하여 최종 이미지 품질 점수 Q를 산출한다. [H * N^2개의 어텐션 값 합산 → 전체 개수로 나눔 → 단일 스칼라 점수 도출] 과정을 거치며, 이 점수가 높을수록 인식에 유리한 고품질 이미지로 판단한다.

SynFIQA 데이터셋의 55만 장 이미지를 대상으로 실험한 결과, 이미지 품질 그룹(Q0~Q9)과 ATTN-FIQA 점수 사이에 명확한 단조 증가 상관관계가 확인되었다. 가장 낮은 품질인 Q0 그룹에서 가장 낮은 평균 점수를 기록했으며, 참조 이미지(Ref) 그룹에서 가장 높은 점수를 기록했다.

IJB-C와 같은 대규모 실제 데이터셋 벤치마크에서 ArcFace, MagFace 등 다양한 얼굴 인식 모델과 결합했을 때, 기존의 복잡한 SOTA(최신 기술) 품질 평가 모델들과 대등하거나 더 우수한 성능을 보였다. 특히 추가 학습이 전혀 없음에도 불구하고 특정 도메인에 국한되지 않는 높은 범용성을 입증했다.

Ablation Study를 통해 단일 어텐션 헤드보다 모든 헤드를 평균 내어 사용하는 방식이 가장 안정적인 성능을 보임을 확인했다. 또한 ViT-S와 ViT-B 등 아키텍처 깊이에 관계없이 일관된 품질 측정 능력을 보여주었다.

본 연구는 ViT의 마지막 레이어 어텐션 맵이 고수준의 시맨틱 관계를 캡처한다는 점을 활용한다. 수식적으로는 Softmax 정규화가 정보 손실을 유발한다는 가설 하에 A_raw = (QK^T)/sqrt(d_k)를 직접 사용한다. 이는 확률 분포로 변환되기 전의 원시 유사도 강도를 보존하여 모델의 확신도를 더 잘 반영한다.

구현 측면에서는 WebFace4M 데이터셋으로 학습된 ViT-S 및 ViT-B 모델을 백본으로 사용하며, AdaFace 및 ArcFace 손실 함수로 학습된 모델 모두에서 일관된 성능을 확인했다. 이는 제안된 방식이 특정 학습 목적 함수에 의존하지 않는 아키텍처 고유의 특성을 활용함을 시사한다.

공간적 해석을 위해 어텐션 맵을 시각화할 때, 고품질 이미지에서는 눈, 코, 입 등 변별력이 높은 부위에 어텐션이 집중(Red regions)되는 반면, 마스크 착용이나 극단적인 각도에서는 어텐션이 분산되거나 약해지는(Blue regions) 현상을 정량적으로 증명했다.

특정 속성(나이, 각도 등)이 균일하게 분포된 데이터셋에서는 미세한 품질 차이를 구분하는 데 어려움을 겪을 수 있다. 또한 Pre-softmax 값의 절대적인 크기가 모델의 스케일링이나 초기화 방식에 영향을 받을 수 있어 서로 다른 아키텍처 간의 점수를 직접 비교하기 위해서는 정규화 과정이 필요하다.