교차 음성-텍스트 학습
음성 단위와 텍스트 토큰을 단일 토큰 스트림으로 섞어 학습하는 데이터 구성 방식이다. 각 단어에 대해 음성 스팬 또는 텍스트 스팬을 할당하고 연속된 동일 모달리티 단어들을 스팬으로 묶어 모델이 모달리티 간 연속 생성을 학습하도록 만든다. 이 방식은 음성과 텍스트 간 잠재적 정렬과 지식 전이를 촉진하는 핵심 요소로 제시된다.