본문으로 건너뛰기

attention-factorization

요인화된 어텐션

긴 시공간 토큰 시퀀스의 계산량을 줄이기 위해 시공간 축을 분리하여 독립적으로 어텐션을 수행하는 전략이다. 논문에서는 시간별(full spatial), 객체별(object-level), 정점별(temporal) 어텐션을 번갈아 적용해 O(T N^2 + N T^2) 비용으로 처리 효율을 확보했다. 이 구조는 객체 순서에 불변인 멀티-객체 추론을 가능하게 한다.