학습 가능한 토큰 병목 (learnable-token-bottleneck) 용어 설명 | AI Trends
learnable-token-bottleneck
학습 가능한 토큰 병목
중급
마스크된 이미지의 N개의 패치와 결합되는 K개의 학습 가능한 쿼리 토큰을 두어 고정 길이의 latent K×D를 얻는 구조이다. 이 병목은 K<N으로 설정되어 로컬 고주파 중복을 제거하고 전역 의미 구조를 압축하도록 강제한다. 본 논문에서는 이 병목이 Normalizing Flow에 안정적이고 의미 중심적인 분포를 제공하는 핵심 메커니즘으로 작용한다.