The FID Lottery: 생성 모델 평가의 숨겨진 난수와 재현성 분석

왜 중요한가

FID는 이미지 생성 평가의 표준 지표이지만, 시드 차이에 따라 값이 크게 달라질 수 있다. 본 논문은 training seeds와 generation seeds의 두 축으로 FID를 확률 변수로 모델링하고, 재현성 문제의 원인과 신뢰 가능한 평가 프로토콜을 제시한다.

핵심 기여

FID를 training seeds와 generation seeds의 두 축으로 분석

FID를 두 축의 시드에 의해 결정되는 확률 변수로 모델 전체를 평가 패널로 구성해 재훈련 시드와 샘플링 시드의 영향을 분리했다.

훈련 시드에 의한 변동이 생성 시드보다 큰 영향

다수의 독립 훈련에서의 FID 평균은 샘플링 시드의 변화보다 더 큰 차이를 만든다. 훈련 시드 간 표준편차가 생성 시드 간 표준편차보다 큰 경향을 보인다.

flow-matching loss의 per-step Gaussian noise가 변동성 원인

flow-matching loss에 의해 매 gradient step에서 주입되는 Gaussian noise가 훈련 시드 간 차이에 기여한다.

GS-FID: per-cell CFG 최적화 프로토콜 제시

classifier-free-guidance를 seed별로 최적화하는 golden-section search를 도입해 FID 분포의 바닥을 더 낮추고 재현성을 개선했다. 다만 seed 간 순위는 바뀌므로 단일 seed 기반 비교는 오해를 일으킬 수 있다.

CoV 1.3%의 재현성 바닥과 compute/scale의 불변성 관찰

다양한 모델 규모에서도 seed 간 변동성의 코에피션트 오브 바리언스(CoV)가 대략 1-2% 수준으로 유지되며, 이 바닥 아래의 개선은 신뢰성이 낮다.

다중 seed 평가의 실무 가이드라인 제시

다중 seed 평가와 seed 간 error bar 보고의 필요성을 제시한다. FID를 보고할 때는 seed 간 분포를 함께 제시해야 한다.

핵심 아이디어 이해하기

paragraphs_intuition_1_3_5_sentences_v0p1_

기술 상세

paragraphs_technical_1_2_3_4_0p1_

한계점

논문은 하나의 조합(SiT, flow matching, Inception-FID)에서의 1.3% CoV floor를 제시하며, 다른 백본, 다른 프레임워크, 또는 다른 Fréchet 계열 지표로 확장될 경우 바닥이 달라질 수 있다. 패널의 크기는 20~25개 훈련 seed, 10 샘플 seed로 제한된다. 실제 운영 환경에서의 추정은 외부 데이터와 다를 수 있다.

실무 활용

벤치마크에서 FID를 보고할 때 단일 모델의 단일 seed가 아니라 다중 seed 패널을 사용해 변동성과 불확실성을 함께 보고해야 한다. CFG 및 모델 규모에 따른 변동성도 seed에 의존하므로 다중 seed 평가가 필요하다.

벤치마크 비교 시 다중 seed로 FID error bar를 보고하여 재현성 확보
CFG 최적화 시 seed별 윈도우를 고려하는 GS-FID를 사용
모델 규모/데이터셋에 따른 seed variance의 영향 비교

코드 공개 여부: 미확인

키워드

FID(Fréchet Inception Distance)training seedsgeneration seedsclassifier-free-guidanceflow-matching lossreproducibilityInception-V3