FlexiSLM: 동적이고 제어 가능한 프레임 레이트 음성 언어 모델

왜 중요한가

기존 SLM은 12.5 Hz 또는 25 Hz 같은 고정 프레임 레이트로 음성을 표현해 침묵이나 정보 희소 구간에도 동일한 연산을 소비했다. 동적 프레임 레이트는 인접 프레임 유사도를 이용해 평균 토큰 수를 줄이므로 동일한 모델로 품질과 추론 속도 사이의 절충을 가능하게 한다. FlexiSLM은 이러한 동적-가변 프레임 레이트를 입력과 출력 양쪽에 적용해 단일 모델로 4.0~12.5 Hz 범위에서 작동하고, 중간 지점인 6.25 Hz에서 12.5 Hz 대비 추론 시간을 대폭 단축하면서 음성 품질을 유지했다.

핵심 기여

동적 프레임 레이트 SLM 프레임워크 도입

FlexiSLM은 입력과 출력 모두에서 동적 프레임 병합을 적용한 최초의 SLM 프레임워크이다. 이 프레임워크는 고정 프레임 토크나이저 대신 병합 모듈로 연속 특징을 적응적으로 압축해 평균 프레임률을 낮춘다. 실험에서 12.5 Hz와 6.25 Hz에서 강한 성능을 보였고 낮은 비트레이트에서도 점진적 성능 저하 특성을 확인했다.

직접적인 프레임 레이트 제어 신호 설계

FlexiSLM은 병합 임계값 대신 목표 평균 프레임 레이트를 모델 입력으로 직접 인코딩해 제어 가능성을 제공한다. 학습 중에는 다양한 병합 임계값을 샘플링해 그 결과 평균 레이트를 계산하고 이를 sinusoidal positional encoding으로 Talker와 병합 모듈에 공급했다. 이 방식은 임계값 기반의 일대다 매핑 문제와 발화 간 변동성을 줄이고 사용자 수준의 직관적 제어를 가능하게 했다.

프레임 병합 모듈의 구체적 설계와 구현

프레임 병합 모듈은 인접 프레임 쌍의 코사인 유사도를 계산하고 임계값을 초과하면 그룹화한 뒤 평균 벡터와 길이 속성으로 대체하는 그리디 알고리즘을 사용한다. 병합 결과와 원본 프레임을 섞어 가벼운 Transformer(local attention)로 처리한 뒤 평균 위치를 추출해 병합 시퀀스를 얻는다. 이 모듈은 입력 측(25 Hz → ≤12.5 Hz)과 FlexiCodec 내부(12.5 Hz의 병합) 양쪽에 공통적으로 적용된다.

FlexiCodec 통합과 실험적 성능 검증

출력 측 토크나이저로 사전학습된 FlexiCodec을 사용해 FSQ 토큰과 프레임 길이 토큰을 예측 대상으로 삼았다. FlexiSLM은 Qwen2.5-Omni와 Kimi-Audio 같은 7B 고정 프레임 모델과 비교해 고품질 운영 지점에서 우수성을 보였다. 추가로 6.25 Hz에서 12.5 Hz 대비 추론 시간을 대략 반으로 줄이면서 음성 대 음성 품질을 유지하는 결과를 보고했다.

핵심 아이디어 이해하기

음성 신호는 시간에 따라 정보 밀도가 달라서 고정 프레임 레이트로 일정한 간격을 나누면 침묵 같은 정보가 희박한 구간에 불필요한 토큰이 생성되어 계산 낭비가 발생한다. 이 논문은 연속 특징 벡터 간 유사도를 이용해 정보를 중복하는 인접 프레임을 병합함으로써 실제 정보량에 맞춰 토큰 수를 줄이면 모델 연산량과 토큰 길이를 감소시킬 수 있다는 점을 출발점으로 삼는다. 병합은 평균 특징과 길이 속성으로 대체되어 토큰화 이후 재구성 시 프레임 지속시간 정보를 유지한다.

방법론

FlexiSLM은 병합 기반의 동적 프레임 표현을 입력과 출력 양쪽에 적용하는 병렬적 Thinker–Talker 구조를 채택한다. 오디오 인코더는 25 Hz 연속 특징을 추출하고 입력 측 병합 모듈은 인접 프레임 유사도에 따라 ≤12.5 Hz로 압축한다. Talker Transformer는 Thinker LLM의 최종 은닉 상태, 목표 프레임 레이트의 sinusoidal 인코딩, 과거 음성 및 길이 토큰 임베딩을 결합한 입력을 받아 FSQ 코드와 프레임 길이 토큰을 병렬 예측한다.

주요 결과

논문은 FlexiSLM이 12.5 Hz 및 6.25 Hz 운영 지점에서 강한 음성 대 음성 품질을 보였음을 보고했다. 저자들은 FlexiSLM을 4.0 Hz까지 정확하게 조절할 수 있음을 확인했으며 6.25 Hz에서는 12.5 Hz 대비 추론 시간이 대략 절반 수준으로 단축되었다고 밝혔다. 또한 임계값 기반 통제가 발화별 평균 프레임률 분포를 넓혀 예측 가능성이 떨어지는 반면 직접 프레임 레이트 조건화는 더 일관된 제어를 제공한다고 기술했다.

기술 상세

전체 아키텍처는 Qwen2.5-Omni의 25 Hz 오디오 인코더, Frame Merging Module, Qwen2.5-7B-Instruct로 초기화된 Thinker LLM, 그리고 Talker Transformer와 FlexiCodec 기반 FSQ 토큰 예측 경로로 구성된다. 프레임 병합은 인접 프레임 벡터 x_t, x_{t+1}에 대해 코사인 유사도 s_t = (x_t·x_{t+1})/(||x_t|| ||x_{t+1}||)를 계산하고, s_t가 임계값 τ를 초과하면 두 프레임을 그룹화해 평균 벡터와 길이 l_k를 생성한다. 병합 과정은 좌→우 그리디 방식으로 연속된 높은 유사도 구간을 하나의 평균 표현으로 줄이고, 그 결과 시퀀스는 로컬 어텐션을 가진 경량 Transformer로 처리되어 평균 위치의 표현을 추출한다.

한계점

문서에서 임계값 기반 병합 제어는 발화별 특성에 따라 결과 평균 프레임률이 크게 변동해 예측 가능한 속도 향상을 제공하지 못한다고 명시되어 있다. 매우 낮은 목표 프레임 레이트(예: 5.0 Hz 및 4.0 Hz)로 이동할 때 성능이 점진적으로 저하되는 현상이 보고되어 최저 운용점에서는 품질 저하가 존재한다. FlexiCodec의 이전 검증은 0.3B TTS 파이프라인에서 주로 수행되었기 때문에 대형 SLM 통합 후의 한계와 결합 효과에 대한 추가 연구가 필요하다고 언급되었다.

실무 활용

FlexiSLM은 단일 모델로 운영 중에 목표 평균 프레임 레이트를 지정해 품질과 속도 사이의 절충을 조정할 수 있으므로 다양한 디바이스와 네트워크 조건에 적응할 수 있다. 학습된 FlexiSLM과 공개된 FlexiCodec 구성요소를 결합하면 낮은 평균 프레임률에서도 음성 재구성 품질을 유지하면서 추론 비용을 줄일 수 있다. 깃허브 저장소가 공개되어 있어 모델 및 재현 데이터 접근을 통해 실무 적용이 가능하다.

저전력 또는 네트워크 대역폭이 제한된 디바이스에서 음성 대 음성 대화 시스템의 추론 속도를 낮추어 지연을 줄이는 배포 시나리오
실시간 음성 비서에서 품질과 응답 시간 간의 선호도를 사용자 수준에서 동적으로 조절하는 인터랙티브 서비스
대규모 음성 대화 로그를 처리하는 서버 측 파이프라인에서 평균 토큰 수를 줄여 비용 효율을 개선하는 배치 처리 워크로드

코드 공개 여부: 공개

코드 저장소 보기

키워드

spoken language model(음성 언어 모델)dynamic frame rate(동적 프레임 레이트)audio tokenizer(오디오 토크나이저)FlexiCodec(FlexiCodec)frame merging(프레임 병합)controllable generation(제어 가능한 생성)

용어 해설

동적 프레임 레이트(Dynamic Frame Rate): — 음성 신호를 고정된 프레임 수 대신 시간축 정보 밀도에 따라 가변적인 수의 프레임으로 인코딩하는 방식으로, 유사한 인접 프레임을 병합해 평균 프레임 수를 낮추고 계산량을 줄인다. 본문에서는 12.5 Hz 기저 표현에서 유사도 기반 병합을 수행해 평균 6.25 Hz 수준으로 압축하는 예를 중심으로 활용된다. 프레임 레이트 제어는 추론 시 품질과 속도 사이의 절충을 사용자 수준에서 직접 조절할 수 있게 한다.
프레임 병합(Frame Merging): — 연속된 특징 벡터 쌍 간의 코사인 유사도를 계산해 임계값을 넘는 인접 프레임들을 그룹화하고 평균 벡터와 길이 속성으로 대체하는 알고리즘이다. 좌에서 우로 탐색하며 연속적으로 높은 유사도를 보이는 구간을 그리디 방식으로 병합하여 토큰 수를 줄인다. FlexiSLM에서는 입력 측과 FlexiCodec 내부의 토크나이저 양쪽에 동일한 병합 메커니즘을 적용해 동적-가변 프레임 표현을 만든다.
유한 스칼라 양자화(Finite Scalar Quantization (FSQ)): — FlexiCodec에서 연속 특징을 유한한 정수 코드로 변환하는 양자화 방식으로, 각 병합된 프레임에 대해 FSQ 코드를 예측하고 프레임 길이 속성을 함께 저장해 재구성에 사용한다. FSQ는 RVQ와 달리 단일 스칼라 코드북 기반의 양자화 접근으로 토큰화 이후 디코딩 경로에서 멜 스펙트로그램 복원을 지원한다. FlexiSLM의 Talker는 FSQ 코드 스트림과 프레임 길이 토큰을 병렬 출력으로 예측한다.
Thinker–Talker 아키텍처(Thinker–Talker Architecture): — 텍스트 이해와 의사결정은 Thinker LLM이 수행하고, 음성 토큰 예측은 Talker Transformer가 담당하는 병렬적 구조로서, Thinker의 최종 레이어 은닉 상태가 Talker의 입력으로 사용된다. Talker는 텍스트와 과거 음성 토큰을 함께 받아 FSQ와 프레임 길이를 병렬로 예측하며, 선택적으로 Talker에서 생성된 음성 임베딩을 다시 Thinker에 피드백할 수 있다. 이 구조는 음성과 텍스트를 통합해 다양한 음성 작업을 하나의 모델로 처리하도록 설계되었다.

FlexiSLM: 동적이고 제어 가능한 프레임 레이트 음성 언어 모델

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 피드

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

관련 토론

댓글

관련 피드