Inflated 3D Vision Transformer
2차원 이미지 토크나이저의 공간적 self-attention을 연장하여 짧은 프레임 청크 내에서 시공간 self-attention을 수행하고 청크 단위로 시간적 풀링을 적용해 모션 정보를 보존하면서 토큰 수를 크게 줄이는 비전 인코딩 구조이다. 로컬 시공간 상호작용을 미리 모델링하여 LLM에 전달되는 시퀀스 길이를 감소시키는 점이 핵심이다.
