화자 분리 청크 단위 회귀로 학습한 음절 토크나이제이션

음성 언어 모델은 텍스트에 비해 훨씬 높은 프레임 속도의 토큰을 사용하므로 언어적 정보 밀도가 낮아 처리 효율과 텍스트-음성 정렬에서 불리하다. 본 논문은 음절 단위의 더 거친 토큰을 화자 정보에 덜 민감하게 학습하여 토큰의 언어적 순수성을 높였고, 그 결과 언어 이해 성능과 토큰 비트레이트 효율성이 동시에 개선되었다. 이는 음성 기반 LM이 텍스트에서 학습한 고수준 지식을 더 잘 활용하게 하여 음성-텍스트 통합 응용의 효율성을 높일 수 있다.

음성 표현 학습에서 하위 단계(프레임) 표현을 그대로 평균하거나 발화 단위로 분류하면 발화 전체에 안정적인 화자 특성이 표현에 반영되어 언어적 정보가 희석될 수 있다. 예컨대 발화 수준의 [CLS] 표현은 프레임들의 가중 평균처럼 동작하여 화자 정보가 우세하면 모델이 화자를 식별하는 방향으로 최적화된다. 이로 인해 음절 단위의 순수한 언어적 패턴이 잘 드러나지 않으며 토큰화의 품질이 저하된다. 따라서 모델이 포착해야 할 것은 '어떤 소리가 언제 언어적 단위로 묶이는가'이며, 이는 지역적이면서도 중간 시간스케일의 응집을 필요로 한다.

전체 시스템은 세 단계로 구성된다. 첫째, 청크 단위 회귀 목표(SylReg)를 통해 학생-교사 프레임 표현의 청크별 일치를 학습하여 화자 불변이면서 음절 응집을 띠는 임베딩을 유도한다. 둘째, 학생이 산출한 자기유사도 행렬에서 최소 컷 알고리즘으로 음절 경계를 탐지하고 세그먼트 평균을 계산한 뒤 군집화로 이산 토큰을 얻는다. 셋째, 얻어진 음절 토큰을 텍스트와 인터리브하여 언어 모델을 지속학습하고, 토큰-투-스피치 모듈을 통해 재합성을 수행한다.

음절 분할 및 토큰 품질 평가에서 SylReg은 LibriSpeech 테스트에서 기본 HuBERT 대비 분할 F1을 크게 향상시켰다(예: HuBERT F1 58.7 → SylReg F1 72.2). SylReg-Distill은 data2vec 2.0으로 증류된 버전에서 F1 74.7과 토큰 순도(SP) 79.5를 기록하여 기존 SylBoost 계열과 비슷하거나 상회하는 결과를 보였다. SD-HuBERT는 토큰 편향을 반영하는 TED 값이 높게 나타났고(예: TED 19.4), SylReg는 TED를 9.91로 낮춰 화자 민감도를 감소시켰다.

아키텍처는 CNN 인코더와 9-layer Transformer를 백본으로 하며 CNN과 Transformer는 HuBERT Base로 초기화하고 마지막 세 레이어를 가지치기했다. 프로젝터와 프레딕터는 각각 2층 MLP로 구성되며 내부선형층 출력 2048, 배치정규화와 GELU를 거쳐 최종 출력 256을 만든다. 기본 청크 크기 C는 100 프레임으로 설정되어 시퀀스 길이를 1/C로 줄이고 청크 단위 평균풀링을 적용한다.

논문은 학습 동역학에서 10k~12k 스텝 이후 표현이 평활해지며 F1이 감소한다고 명시하여 장기 학습에서 표현 붕괴 위험이 있음을 보고했다. 청크 크기 선택은 분할 정확도와 토큰 순도 사이의 트레이드오프를 낳아 애플리케이션 목적에 따라 세심한 튜닝이 필요하다. 또한 다단계 증류 절차와 연계된 대규모 학습은 아직 개선 과제로 남아 있으며, 음색·감정 등 표현적 음향 정보를 통합하려면 추가 연구가 요구된다고 논문에서 언급되었다.