data2vec

모달리티에 무관하게 연속 잠재 표현을 예측하는 self-supervised 학습 방식이다. 입력 신호의 프레임 수준 표현을 학습된 연속 타깃과 비교·예측함으로써 클러스터 기반의 이산화(phoneme clustering) 병목을 회피하고, 비음성(non-verbal) 음향에서도 연속 표현을 제공해 downstream SV에서 더 나은 일반화 성능을 보인다.