챕터별 상세
00:00
기존 세그멘테이션 모델의 복잡성과 한계
기존의 Mask2Former와 같은 모델들은 ViT 백본에 ViT-Adapter, Pixel Decoder, Transformer Decoder 등 무거운 모듈을 결합하여 사용했다. 이는 ViT가 본래 단일 해상도 출력만을 제공하므로 멀티스케일 특징을 추출하기 위해 CNN 기반의 구조를 억지로 덧붙인 결과였다. 이러한 복잡한 구조는 연산 비용을 증가시키고 추론 속도를 저하시키는 원인이 되었다.
Mask2Former는 범용적인 이미지 세그멘테이션 프레임워크로, 쿼리 기반의 마스크 예측 방식을 사용한다.
04:30
ViT의 잠재력과 구성 요소 제거 실험
저자들은 대규모 사전 학습(DINOv2)을 거친 대형 ViT 모델이 이미 풍부한 공간 및 의미 정보를 내재하고 있다는 가설을 세웠다. 이를 검증하기 위해 기존 모델에서 ViT-Adapter, Pixel Decoder, 멀티스케일 처리 과정을 단계적으로 제거하며 성능 변화를 측정했다. 실험 결과, 모델 크기가 커질수록 이러한 추가 모듈의 기여도가 급격히 낮아진다는 사실을 확인했다.
DINOv2는 자기지도학습(Self-supervised learning)을 통해 이미지의 특징을 매우 정교하게 추출하도록 학습된 모델이다.
12:50
EoMT 아키텍처: 인코더 중심의 마스크 트랜스포머
본 논문에서 제안하는 EoMT(Encoder-only Mask Transformer)는 복잡한 디코더를 완전히 제거한 구조이다. 소수의 학습 가능한 쿼리(learnable query)를 ViT 인코더 중간 블록에 주입하여 패치 토큰과 함께 처리한다. 인코더의 마지막 블록들이 기존의 디코더 역할을 대신 수행하며, 최종적으로 마스크와 클래스를 예측하는 단순한 구조를 완성했다.
인코더 전용 구조는 별도의 디코더 네트워크 없이 인코더 내부에서 모든 연산을 처리하는 방식이다.
16:40
Mask Annealing 기법을 통한 추론 최적화
학습 시에는 Masked Attention을 사용하여 성능을 높이지만, 추론 시에는 이를 제거하여 연산 효율을 극대화하는 Mask Annealing 기법을 도입했다. 학습 과정에서 마스킹 확률(P_mask)을 1.0에서 0.0으로 점진적으로 낮추어 모델이 마스크 정보 없이도 동작하도록 유도한다. 결과적으로 추론 시에는 추가적인 중간 마스크 예측 모듈 없이 순수 ViT 구조만으로 빠르게 동작한다.
Annealing은 학습 과정에서 특정 하이퍼파라미터를 서서히 변화시켜 최적의 상태에 도달하게 하는 기법이다.
18:45
실험 결과 및 실무적 시사점
COCO 및 ADE20K 데이터셋에서 실험한 결과, EoMT는 기존 SOTA 모델 대비 약 4.4배 빠른 추론 속도를 달성했다. 성능(PQ) 손실은 약 1.1포인트 내외로 매우 적었으며, 연산량(GFLOPs)은 획기적으로 줄어들었다. 이는 복잡한 아키텍처 설계보다 데이터 스케일링과 강력한 사전 학습이 세그멘테이션 성능에 더 결정적임을 시사한다.
PQ(Panoptic Quality)는 파놉틱 세그멘테이션의 성능을 측정하는 대표적인 지표이다.
AI 분석 전체 내용 보기
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
원문 발행 2025. 12. 10.수집 2026. 02. 21.출처 타입 YOUTUBE
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.