AffectFlow-DINO 조건부 Rectified Flow 기반 불확실성 인식 다중작업 감정 추정

왜 중요한가

야외 환경의 얼굴 행동은 한 이미지에서 여러 해석이 가능한 본질적 모호성이 존재하기 때문에 단일 점 추정은 불확실성을 소실한다. AffectFlow-DINO는 조건부 rectified flow로 이미지마다 다수의 감정 샘플을 생성하여 평균화로 연속적 VA 추정이 안정화되는 효과를 확보했다. 이 접근은 특히 VA와 같이 연속적이고 모호성이 큰 타깃에서 성능 향상과 함께 예측 불확실성 정보를 제공하므로 응용에서 신뢰도 기반 의사결정이 가능해진다.

핵심 기여

조건부 rectified-flow를 결합한 프레임 수준의 22차원 결합 감정 분포 모델

단일 이미지로부터 valence-arousal, 8개 표현, 12개 AU를 결합한 22차원 실수 공간을 정의하고 그 공간에서 조건부 rectified flow를 학습했다. 학습 시 결손 레이블을 샘플별 마스크로 배제하여 부분 주석 데이터셋에서도 결합 분포의 주변 마진을 수렴시켰다. 이 구성은 하나의 이미지에서 가능한 여러 감정 상태를 샘플링하여 불확실성을 정량적으로 표현하도록 설계되었다.

결정론적 다중작업 헤드와 흐름 헤드의 공동 최적화로 상호보완성 확보

결정론적 VA/표현/AU 헤드를 유지하면서 흐름 손실을 결합하였고 두 목적이 서로 보완적으로 작동함을 실험적으로 확인했다. 결정론적 손실은 임베딩에 구분 가능성을 강화하여 흐름의 분포적 품질을 높였고 흐름 샘플링은 VA 성능을 평균화로 개선했다. 공동 학습은 흐름 전용 또는 결정론 전용 단독 학습보다 최종 검증 P_MTL을 높였다.

광범위한 26개 설계 선택에 대한 체계적 Ablation study와 후처리 보정 전략

flow 손실 가중치, 샘플 수 N, Euler 단계 T, 임계값 보정, 백본 미세조정 등 26가지 설계 요소를 통제하에 실험하여 각 구성의 기여를 분리했다. 후처기(per-AU 및 per-class expression) 임계값 튜닝으로 희소 클래스의 F1을 크게 회복하는 효과를 보였고 재학습 없이도 성능이 개선되었다. 이 실험 집합은 어떤 요소가 VA, 표현, AU 중 어느 항목에 민감한지 구체적인 수치로 보여주었다.

저학습률로 DINOv3 백본을 미세조정하고 흐름 헤드를 재조정하여 최고 성능 확보

초기에는 frozen DINOv3 ViT-S/16 백본을 사용하여 흐름의 효과를 고립시킨 뒤 저학습률(1e-5)로 백본을 미세조정했다. 미세조정 후 흐름 헤드를 다시 활성화(β 재조정)하여 흐름과 결정론적 출력이 모두 향상되도록 조치했으며 이 조합이 최종적으로 검증 P_MTL 1.177을 기록했다. 미세조정 과정에서는 결정론적 디코딩이 흐름 디코딩보다 강해질 수 있어 흐름 재조정이 필요함이 드러났다.

핵심 아이디어 이해하기

기존의 다중작업 감정 추정 방식은 각 이미지에 대해 단일 포인트 예측을 출력하여 입력 이미지가 내포하는 여러 가능한 감정 해석을 무시한다. 이 논문은 레이블 공간을 연속적 실수 공간으로 확장하여 valence-arousal, 표현, AU를 하나의 22차원 벡터로 결합하고 이미지 조건부로 그 분포 p(y|x)를 모델링하면 다중가능해를 복원할 수 있다는 관점에서 출발한다. 이렇게 하면 동일 이미지에 대해 여러 가능한 affect 벡터를 샘플링하여 평균값을 결정론적 예측보다 더 안정적이고 불확실성 정보를 제공하는 예측으로 변환할 수 있다.

방법론

모델은 네 부분으로 구성되며 입력 224×224 얼굴 이미지는 먼저 DINOv3 ViT-S/16 백본의 [CLS] 토큰에서 특징 벡터 h로 인코딩된다. 이 h는 LayerNorm+GELU와 선형층을 거쳐 768차원 공유 임베딩 z로 투영되고, z는 세 개의 결정론적 태스크 헤드(VA, EXPR, AU)와 조건부 rectified-flow 헤드의 입력으로 사용된다. rectified-flow 학습은 노이즈 ε와 타깃 y 사이의 선형 보간 y_t=(1−t)ε+t y를 만들고 flow 네트워크 rψ가 예측한 속도 v^가 진짜 상수 속도 v*=y−ε와의 제곱 오차를 줄이는 방식으로 진행된다. 학습 중 부분 주석 문제를 해결하기 위해 각 샘플마다 22차원 유효 마스크 m을 적용하여 존재하지 않는 레이블이 손실에 기여하지 않도록 하였고 전체 손실은 결정론적 손실과 β 가중된 흐름 손실의 합으로 최적화되었다.

주요 결과

결정론적 전용, 흐름 전용, 공동학습 세 가지 훈련 체계를 비교한 결과 흐름 단독 샘플링은 P_MTL 0.773을 기록하였고 결정론적 전용의 흐름 디코딩 시도는 성능이 크게 저하되어 디코딩 모드와 훈련 목적의 일치가 중요했다. frozen 백본 상태의 AffectFlow에서 흐름 디코딩은 VA에서 CCC-V를 +0.058 개선하는 등 연속 타깃에 유의미한 이득을 주었고 기본 frozen 설정에서 흐름 샘플링은 P_MTL 0.826까지 도달했다. 저학습률로 DINOv3를 미세조정한 뒤 흐름 헤드를 재조정하고 per-AU 및 표현 클래스 후처리 보정을 결합하였을 때 최종 검증 성능은 P_MTL 1.177에 이르렀으며 이는 공식 베이스라인 P_MTL 0.45를 크게 상회했다.

기술 상세

전체 아키텍처는 frozen 또는 저학습률로 미세조정 가능한 DINOv3 ViT-S/16 백본, 768차원 공유 임베딩, 세 개의 결정론적 MLP 헤드(VA tanh, EXPR logits, AU logits)와 조건부 rectified-flow 네트워크로 구성된다. rectified-flow 학습은 y_t=(1−t)ε+t y 보간과 상수 속도 v*=y−ε를 목표로 하며 flow 손실은 마스크된 차원 합산 제곱 오차로 정의되어 결손 레이블에 의한 왜곡을 방지한다. 추론은 N개의 독립 노이즈 초기화 샘플을 Euler 적분(T 단계, Δt=1/T)으로 전진시켜 각각 y_T를 얻은 뒤 평균화하여 최종 연속 및 이산 출력을 복원한다. 하이퍼파라미터 스위프에서 β∈{0.5,1.0}이 안정적이었고 흐름 샘플링은 N=8, T=10에서 포화하는 경향을 보였으나 논문은 N=16, T=30을 기본으로 사용해 검증하였다.

한계점

s-Aff-Wild2의 부분 주석성 때문에 학습 신호가 특정 희소 클래스에 대해 편향될 가능성이 논문에서 명시적으로 보고되었다. 프레임 수준 설계는 시간적 맥락을 활용하지 않으므로 비디오 기반의 문맥 집계가 요구되는 과제에 한계가 있다. 백본 미세조정 이후 흐름 헤드는 별도로 재조정이 필요하며 재조정이 적절히 이루어지지 않으면 흐름 디코딩의 이득이 상실되는 것으로 관찰되었다.

실무 활용

공개된 GitHub 저장소가 존재하므로 연구 결과를 직접 재현하고 모델을 실험 환경에 적용할 수 있다. 흐름 기반 샘플링은 이미지 단위 불확실성 추정을 제공하므로 감정 추정 결과를 신뢰도 기준으로 필터링하거나 인간 검토 프로세스에 우선순위를 부여하는 시스템에 유용하다. 후처기 임계값 보정은 재학습 없이 희소 클래스 성능을 회복하므로 실제 불균형 데이터 환경에서 비용 효율적인 적용 전략이 된다.

실시간이 아니라 배치 처리로 감정 불확실성 추정이 필요한 감정 분석 파이프라인에서 불확실성 기반 재검토 우선순위 지정.
희소 감정이나 드문 AU를 검출해야 하는 임상 또는 심리학 연구에서 후처리 임계값 튜닝을 통해 민감도를 조정하는 작업.
감정 인식 모델의 예측 신뢰도를 기반으로 휴먼 인-더-루프(정검증) 체계를 운영하는 자동 모니터링 시스템.

코드 공개 여부: 공개

코드 저장소 보기

키워드

rectified flow(조건부 rectified flow)DINOv3 ViT-S/16(DINOv3 ViT-S/16)valence-arousal(연속 감정 차원)Action Unit(행동 단위)multi-task learning(다중작업 학습)

용어 해설

정류화 흐름(Rectified Flow): — 노이즈에서 목표 레이블 분포로의 직선 경로(transport)를 학습하여 빠른 수렴과 적은 단계의 샘플링으로 조건부 레이블 분포를 생성하는 흐름 기반 생성기법이다. 이 기법은 레이블 공간에서 선형 보간된 시계열 상의 속도장을 예측하고 Euler 적분을 통해 샘플을 생성한다. 본 논문에서는 이미지 조건부로 22차원 결합 감정 분포를 모델링하는 데 사용되어 다중가능해와 불확실성을 캡처한다.
DINOv3 ViT-S/16: — 자기지도학습 목적을 사용해 비전 임베딩을 학습한 ViT 기반 백본으로, 패치 토큰 간의 공간적 의미 일관성을 강조하여 국소적 변형 신호(AU 등)를 보존하는 특성이 있다. 본 연구에서는 해당 백본을 frozen 상태로 사용하거나 저학습률로 미세조정하여 감정 추정 성능 향상에 기여했다. 크기는 ViT-S급이며 입력 해상도 224×224에 맞춘 설정이 논문에 기술되어 있다.
밸런스-각성(연속 감정 차원)(Valence-Arousal): — 감정 상태를 연속적 두 축으로 표현하는 방식으로 밸런스는 긍정성, 각성은 자극의 강도를 나타낸다. 논문에서는 각 이미지에 대해 두 값이 [-1,1] 범위로 주어지고 회귀 대상으로 처리되어 CCC 지표로 평가된다. 연속적 특성 때문에 샘플 평균화로 불확실성을 줄이면 성능 향상이 가능하다.
행동 단위(AU)(Action Unit): — 얼굴 근육의 부분적 수축을 이진 라벨로 표기한 미세 표현 단위로, 본 논문에서는 12개 AU를 0/1 벡터로 결합하여 22차원 목표 공간의 일부로 취급했다. AU는 공간적으로 국지적인 신호를 포함하므로 DINOv3 백본의 패치 정보와 결합하여 탐지 성능을 높였다. 클래스 불균형이 심해 후처리 임계값 보정으로 성능을 상당 부분 회복했다.
마스킹된 감독(Masked Supervision): — 학습 데이터의 일부 샘플이 모든 태스크 레이블을 갖지 않을 때 손실 계산에서 해당 차원을 배제하는 기법으로, 누락된 레이블이 그래디언트에 영향 주지 않도록 한다. 본 연구는 s-Aff-Wild2에서 관찰되는 부분 주석 문제에 맞춰 각 샘플별 22차원 유효 마스크를 적용하여 흐름과 결정론적 손실을 모두 마스킹했다. 이 방식은 주석 불완전성에도 불구하고 결합 분포 학습을 가능하게 했다.