semantic-speech-token
의미 토큰
의미 토큰은 음성의 언어적 내용, 즉 텍스트와 대응되는 발화 정보를 압축해 표현하는 토큰입니다. LM-SPT에서는 사전 학습된 언어모델 친화적 인코더(예: Whisper 유사)를 활용한 의미-재합성(distillation)으로 의미 보존을 강화했습니다. 의미 토큰만으로도 원본 발화 내용을 재현하도록 학습해 언어모델과의 정렬을 개선합니다.
의미 토큰
의미 토큰은 음성의 언어적 내용, 즉 텍스트와 대응되는 발화 정보를 압축해 표현하는 토큰입니다. LM-SPT에서는 사전 학습된 언어모델 친화적 인코더(예: Whisper 유사)를 활용한 의미-재합성(distillation)으로 의미 보존을 강화했습니다. 의미 토큰만으로도 원본 발화 내용을 재현하도록 학습해 언어모델과의 정렬을 개선합니다.
