추가 학습 없이 ImageNet 정확도를 비약적으로 높이는 StableTTA 기법 공개

실용적 조언

기존 torchvision 분류 모델을 사용 중이라면 제공된 GitHub의 StableTTA 클래스를 적용하여 즉시 성능 향상을 테스트해 볼 수 있다.
연산 자원이 제한된 환경에서 MobileNet 계열 모델의 정확도를 높여야 할 때 효과적인 대안이 된다.

섹션별 상세

작성자는 StableTTA라는 새로운 추론 시점 최적화 방법론을 제안했다. 이 방법은 모델의 가중치를 전혀 수정하지 않고 입력 이미지 레벨의 전처리와 출력 로짓 레벨의 후처리만을 조합하여 작동한다. MobileNetV3-Small 모델에 적용했을 때 Top-1 정확도가 기존 67.6%에서 92.8%로 약 25%p 상승하는 결과가 나타났다. 이는 추가 학습 비용 없이 기존 사전 학습 모델의 성능을 극대화할 수 있음을 시사한다.

python

stable_tta = StableTTA()
logits = stable_tta.postprocess(model(stable_tta.preprocess(image)))
# original: logits = model(image)

StableTTA 라이브러리를 사용하여 기존 모델의 전처리 및 후처리 단계에 적용하는 예시 코드

성능 향상 폭이 매우 커서 대형 모델인 ViT-B16보다 높은 정확도를 기록하면서도 자원 효율성은 유지했다. MobileNetV3-Small 기준 ViT-B16 대비 정확도는 11.75% 높고 파라미터 수는 97.1%, 연산량(GFLOPs)은 89.1% 적은 수치를 달성했다. EfficientNet, ResNet 등 다양한 torchvision 모델에서도 일관되게 10~20%p 이상의 성능 향상이 확인됐다. 저사양 하드웨어에서 고성능 분류 모델을 구현해야 하는 실무 환경에 즉각적인 이점을 제공한다.

용어 해설

테스트 시점 데이터 증강(TTA): — 추론(테스트) 단계에서 입력 데이터에 여러 변환을 적용하고 그 결과들을 종합하여 예측 성능을 높이는 기법이다. 모델의 가중치를 수정하지 않고도 데이터의 변형에 대한 강건성을 확보하여 정확도를 향상시키는 데 중요한 역할을 한다.
이미지넷-1K(ImageNet-1K): — 1,000개의 카테고리로 분류된 약 120만 장의 이미지를 포함하는 대규모 시각 인식 데이터셋이다. 컴퓨터 비전 모델의 분류 성능을 평가하는 가장 대표적인 벤치마크로 활용되며 모델의 일반화 능력을 측정하는 표준 지표이다.
로짓(Logit): — 딥러닝 모델의 마지막 계층에서 출력되는 정규화되지 않은 원시 예측값이다. 소프트맥스 함수를 통과하기 전의 값으로, 이 값을 후처리하여 최종 클래스 확률을 결정하거나 예측의 신뢰도를 조정하는 데 사용된다.
기가플롭스(GFLOPs): — 초당 10억 번의 부동소수점 연산을 수행하는 단위로, 모델의 연산 복잡도를 나타낸다. 수치가 낮을수록 모델이 가볍고 추론 속도가 빠름을 의미하며, 모바일이나 엣지 기기 배포 시 핵심적인 효율성 지표가 된다.

언급된 도구

StableTTA추천링크

추론 시점 성능 향상을 위한 전처리 및 후처리 도구

torchvision중립

사전 학습된 컴퓨터 비전 모델 라이브러리

언급된 리소스

논문StableTTA Paper (arXiv)

GitHubStableTTA GitHub Repository

튜토리얼StableTTA 3-minute Quick Reproduction Notebook