요인화된 어텐션 (attention-factorization) 용어 설명 | AI Trends
attention-factorization
요인화된 어텐션
중급
긴 시공간 토큰 시퀀스의 계산량을 줄이기 위해 시공간 축을 분리하여 독립적으로 어텐션을 수행하는 전략이다. 논문에서는 시간별(full spatial), 객체별(object-level), 정점별(temporal) 어텐션을 번갈아 적용해 O(T N^2 + N T^2) 비용으로 처리 효율을 확보했다. 이 구조는 객체 순서에 불변인 멀티-객체 추론을 가능하게 한다.