Intra-ViT 압축기 (intra-vit-compressor) 용어 설명 | AI Trends
intra-vit-compressor
Intra-ViT 압축기
중급
ViT의 얕은 계층에 위치한 다운샘플링 모듈로, 윈도우 어텐션과 PixelUnshuffle를 통해 토큰 수를 줄이고 남은 ViT 계층이 더 적은 토큰으로 처리하도록 하는 구성요소이다. 사전학습 가중치를 재사용 initializing으로 원래 표현 manifold에 가깝게 시작한다.