당신의 ViT는 사실 이미지 세그멘테이션 모델입니다: 복잡한 디코더 없는 단순화된 아키텍처

• •기존 모델은 ViT의 공간 정보 부족을 보완하기 위해 복잡한 추가 모듈을 사용함
• •CNN 스타일의 Inductive Bias를 강제로 주입하는 방식이 주류였음
• •복잡한 파이프라인으로 인해 추론 효율성이 떨어지는 문제 존재

Mask2Former는 범용적인 이미지 세그멘테이션 프레임워크로, 쿼리 기반의 마스크 예측 방식을 사용한다.

• •DINOv2 기반 ViT는 별도 어댑터 없이도 세밀한 Semantic 정보 추출 가능
• •모델 파라미터가 많을수록 복잡한 디코더의 필요성이 감소함
• •단일 해상도 출력만으로도 충분한 세그멘테이션 성능 확보 가능

DINOv2는 자기지도학습(Self-supervised learning)을 통해 이미지의 특징을 매우 정교하게 추출하도록 학습된 모델이다.

• •ViT 인코더 블록의 일부를 디코더 역할로 재활용하는 설계
• •패치 토큰과 쿼리 토큰 간의 상호작용을 통해 마스크 정보 생성
• •추가적인 무거운 디코더 연산 없이 세그멘테이션 수행

인코더 전용 구조는 별도의 디코더 네트워크 없이 인코더 내부에서 모든 연산을 처리하는 방식이다.

• •학습 초기에는 마스킹의 도움을 받아 빠르게 수렴하도록 유도
• •학습 후반부에는 마스킹 없이도 동작하도록 모델을 정렬
• •추론 시 불필요한 중간 연산을 제거하여 FPS 대폭 향상

Annealing은 학습 과정에서 특정 하이퍼파라미터를 서서히 변화시켜 최적의 상태에 도달하게 하는 기법이다.

• •기존 복잡한 모델 대비 4.4배 빠른 FPS 달성
• •성능 저하를 최소화하면서 하드웨어 자원 사용량 최적화
• •DINOv2와 같은 강력한 백본의 중요성 재확인

PQ(Panoptic Quality)는 파놉틱 세그멘테이션의 성능을 측정하는 대표적인 지표이다.