dual-stream-transformer

공유된 encoder-decoder 파라미터와 모달별 normalization 및 모달별 learnable queries를 결합한 Transformer 설계로서 각 모달의 특수성을 보존하면서도 암묵적 교차모달 융합을 유도한다. 두 개의 순방향 패스가 독립적인 쿼리 집합을 사용하여 영상 및 오디오를 각각 처리한다. AVTok에서는 효율성과 재구성 품질을 동시에 달성하는 구조적 핵심이다.