본문으로 건너뛰기

ViT와 CNN 기반 모델의 적대적 강건성 차이 분석 및 신규 지표 제안

CNN과 ViT 모델의 적대적 강건성을 동일 조건에서 비교 분석하고, 모델의 민감도를 정밀하게 측정할 수 있는 4가지 신규 지표를 제안한다.

챕터별 상세

00:00

적대적 공격의 정의와 연구 배경

적대적 공격은 정상 이미지에 미세한 노이즈를 주입하여 모델의 오분류를 유도하는 방식이다. FGSM은 그래디언트 방향으로 한 번 업데이트하여 예제를 생성하고, PGD는 이를 반복하여 더 강력한 공격을 수행한다. 기존 연구들은 서로 다른 데이터셋으로 학습된 모델을 비교하여 공정성이 부족했다. 본 연구는 동일한 사전 학습 데이터와 유사한 파라미터 크기를 가진 CNN과 ViT 모델을 공정하게 비교하는 것을 목표로 한다.
03:57

적대적 강건성 측정을 위한 신규 지표 제안

기존의 Infidelity 지표는 모델의 민감도를 충분히 반영하지 못하는 한계가 있었다. 이를 보완하기 위해 손실 관점의 Loss-SENS와 LossGrad-SENS, 타겟 관점의 Logit-SENS와 DiffPred-SENS라는 4가지 신규 지표를 제안했다. Loss-SENS는 노이즈에 따른 손실 변화량을 측정하고, Logit-SENS는 출력 로짓 분포의 변동성을 포착한다. 이러한 지표들은 분류 정확도가 0으로 수렴하는 극한의 공격 상황에서도 모델 간의 미세한 성능 차이를 정밀하게 비교할 수 있게 한다.
07:41

화이트박스 및 블랙박스 공격 성능 평가

화이트박스 공격 실험 결과, 노이즈 강도(Epsilon)가 증가함에 따라 CNN의 정확도가 ViT보다 훨씬 빠르게 하락했다. ImageNet-21K와 같은 대규모 데이터셋으로 사전 학습할 경우 CNN의 강건성이 개선되지만, 여전히 ViT의 수준에는 미치지 못했다. 블랙박스 전이 공격(Transfer Attack)에서도 CNN은 다른 모델이 생성한 공격 예제에 가장 취약한 모습을 보였다. 반면 ViT는 모델 크기와 패치 사이즈가 커질수록 적대적 강건성이 향상되는 경향을 나타냈다.
10:24

모델 내부 동작 및 민감도 심층 분석

Saliency Map 시각화 결과, ViT는 입력 이미지의 핵심 객체 영역에 집중하는 반면 CNN은 그래디언트가 분산되어 배경 노이즈에 더 민감하게 반응했다. 랜덤 노이즈에 대한 민감도 분석에서도 CNN은 특정 임계값 이상에서 손실값이 급격히 증가하는 불안정한 양상을 보였다. 데이터 증강 기법 중 MixUp은 모델의 민감도를 높여 적대적 공격에 더 취약하게 만드는 부작용이 확인됐다. 또한 패치 사이즈가 작을수록 입력 변화에 더 세밀하게 반응하여 민감도가 높아지는 현상이 관찰됐다.

용어 해설

적대적 공격(Adversarial Attack)
정상적인 입력 데이터에 사람이 인지하기 어려운 미세한 노이즈(Perturbation)를 추가하여 딥러닝 모델이 잘못된 결과를 출력하도록 유도하는 공격 기법이다. 모델의 취약점을 파악하고 보안성을 강화하기 위한 연구에서 핵심적으로 다루어진다.
고속 그래디언트 부호 방법(FGSM)
모델의 손실 함수 그래디언트 방향으로 노이즈를 한 번 업데이트하여 적대적 예제를 빠르게 생성하는 기법이다. 계산 효율성이 높지만 공격 강도는 상대적으로 낮아 기본 모델의 강건성 테스트에 주로 사용된다.
투영 그래디언트 하강법(PGD)
FGSM을 여러 번 반복하여 더 강력한 적대적 예제를 생성하는 기법으로, 매 단계마다 노이즈가 일정 범위를 벗어나지 않도록 투영(Projection) 과정을 거친다. 현재 가장 강력한 화이트박스 공격 방식 중 하나로 간주된다.
불충실도(Infidelity)
설명 가능한 AI(XAI) 분야에서 모델의 예측 결과와 설명 함수 간의 일치 정도를 측정하는 지표이다. 값이 낮을수록 설명 함수가 모델의 동작을 잘 반영함을 의미하지만, 모델 자체의 민감도를 측정하기에는 한계가 있다.
화이트박스 공격(White-box Attack)
공격자가 대상 모델의 구조, 파라미터, 그래디언트 등 모든 내부 정보를 알고 있는 상태에서 수행하는 공격이다. 모델의 취약점을 가장 정밀하게 타격할 수 있어 강건성 평가의 상한선으로 활용된다.
AI 분석 전체 내용 보기

AI 요약 · 북마크 · 개인 피드 설정 — 무료

출처 · 인용 안내

원문 발행 2026. 03. 31.수집 2026. 03. 31.출처 타입 YOUTUBE

인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.