FlexiSLM: 동적이고 제어 가능한 프레임 레이트 음성 언어 모델

기존 SLM은 12.5 Hz 또는 25 Hz 같은 고정 프레임 레이트로 음성을 표현해 침묵이나 정보 희소 구간에도 동일한 연산을 소비했다. 동적 프레임 레이트는 인접 프레임 유사도를 이용해 평균 토큰 수를 줄이므로 동일한 모델로 품질과 추론 속도 사이의 절충을 가능하게 한다. FlexiSLM은 이러한 동적-가변 프레임 레이트를 입력과 출력 양쪽에 적용해 단일 모델로 4.0~12.5 Hz 범위에서 작동하고, 중간 지점인 6.25 Hz에서 12.5 Hz 대비 추론 시간을 대폭 단축하면서 음성 품질을 유지했다.

음성 신호는 시간에 따라 정보 밀도가 달라서 고정 프레임 레이트로 일정한 간격을 나누면 침묵 같은 정보가 희박한 구간에 불필요한 토큰이 생성되어 계산 낭비가 발생한다. 이 논문은 연속 특징 벡터 간 유사도를 이용해 정보를 중복하는 인접 프레임을 병합함으로써 실제 정보량에 맞춰 토큰 수를 줄이면 모델 연산량과 토큰 길이를 감소시킬 수 있다는 점을 출발점으로 삼는다. 병합은 평균 특징과 길이 속성으로 대체되어 토큰화 이후 재구성 시 프레임 지속시간 정보를 유지한다.

FlexiSLM은 병합 기반의 동적 프레임 표현을 입력과 출력 양쪽에 적용하는 병렬적 Thinker–Talker 구조를 채택한다. 오디오 인코더는 25 Hz 연속 특징을 추출하고 입력 측 병합 모듈은 인접 프레임 유사도에 따라 ≤12.5 Hz로 압축한다. Talker Transformer는 Thinker LLM의 최종 은닉 상태, 목표 프레임 레이트의 sinusoidal 인코딩, 과거 음성 및 길이 토큰 임베딩을 결합한 입력을 받아 FSQ 코드와 프레임 길이 토큰을 병렬 예측한다.

논문은 FlexiSLM이 12.5 Hz 및 6.25 Hz 운영 지점에서 강한 음성 대 음성 품질을 보였음을 보고했다. 저자들은 FlexiSLM을 4.0 Hz까지 정확하게 조절할 수 있음을 확인했으며 6.25 Hz에서는 12.5 Hz 대비 추론 시간이 대략 절반 수준으로 단축되었다고 밝혔다. 또한 임계값 기반 통제가 발화별 평균 프레임률 분포를 넓혀 예측 가능성이 떨어지는 반면 직접 프레임 레이트 조건화는 더 일관된 제어를 제공한다고 기술했다.

전체 아키텍처는 Qwen2.5-Omni의 25 Hz 오디오 인코더, Frame Merging Module, Qwen2.5-7B-Instruct로 초기화된 Thinker LLM, 그리고 Talker Transformer와 FlexiCodec 기반 FSQ 토큰 예측 경로로 구성된다. 프레임 병합은 인접 프레임 벡터 x_t, x_{t+1}에 대해 코사인 유사도 s_t = (x_t·x_{t+1})/(||x_t|| ||x_{t+1}||)를 계산하고, s_t가 임계값 τ를 초과하면 두 프레임을 그룹화해 평균 벡터와 길이 l_k를 생성한다. 병합 과정은 좌→우 그리디 방식으로 연속된 높은 유사도 구간을 하나의 평균 표현으로 줄이고, 그 결과 시퀀스는 로컬 어텐션을 가진 경량 Transformer로 처리되어 평균 위치의 표현을 추출한다.

문서에서 임계값 기반 병합 제어는 발화별 특성에 따라 결과 평균 프레임률이 크게 변동해 예측 가능한 속도 향상을 제공하지 못한다고 명시되어 있다. 매우 낮은 목표 프레임 레이트(예: 5.0 Hz 및 4.0 Hz)로 이동할 때 성능이 점진적으로 저하되는 현상이 보고되어 최저 운용점에서는 품질 저하가 존재한다. FlexiCodec의 이전 검증은 0.3B TTS 파이프라인에서 주로 수행되었기 때문에 대형 SLM 통합 후의 한계와 결합 효과에 대한 추가 연구가 필요하다고 언급되었다.