Nemotron-Labs-Audex-30B-A3B 기반의 통합 오디오-텍스트 LLM Audex 공개

오디오와 텍스트를 같은 생성 루프에서 처리하는 모델 설계는 음성 인식, 번역, 합성, 생성과 같은 서로 다른 오디오 태스크를 하나의 아키텍처로 통합할 수 있는 기반을 마련한다. Audex는 오디오 입력을 텍스트 임베딩 공간으로 투사하고 양자화된 오디오 토큰을 텍스트 토큰과 동일하게 취급함으로써 멀티모달 간의 표현 불일치를 줄였다. 이로 인해 기존의 별도 인코더·디코더 체계보다 표준 LLM 훈련·추론 인프라를 재사용하면서 다양한 오디오-텍스트 작업에서 성능을 확보할 수 있다.

멀티모달 오디오-텍스트 문제의 출발점은 오디오와 텍스트가 서로 다른 표현 공간에 존재한다는 점이다. 텍스트는 토큰 임베딩의 이산 시퀀스로, 오디오는 연속 신호에 기반한 스펙트럼·특징 행렬로 표현되며 이 둘을 직접 결합하면 표현 불일치와 생성 루프의 비효율이 발생한다. 따라서 동일한 생성 엔진으로 두 모달리티를 처리하려면 오디오 표현을 텍스트 생성 루프가 이해할 수 있는 형태로 변환하는 명확한 매핑이 필요하다.

전체 접근 방식은 오디오를 전용 인코더로 처리한 뒤 그 출력을 텍스트 임베딩 공간으로 선형 투사하거나 다른 매핑으로 정렬해 단일 Transformer 디코더가 텍스트 토큰과 오디오 토큰을 동일하게 소비하고 생성하도록 만드는 것이다. 이 과정에서 오디오 출력은 양자화된 토큰 형식으로 변환되어 디코더의 자기회귀 생성 루프에서 텍스트 토큰과 동일한 방식으로 예측 대상이 된다. 훈련 파이프라인은 먼저 대규모 감독학습으로 기초 멀티모달 능력을 얻고 이후 텍스트 전용 Cascade RL로 정렬된 행동을 강화하며 마지막으로 온정책 증류를 통해 여러 도메인에서의 예측 분포를 학생 모델로 안정적으로 이전했다.

초록에 따르면 Audex는 오디오 이해, 음성 인식 및 번역, 텍스트-투-스피치, 오디오 생성과 스피치-투-스피치 생성 분야에서 state-of-the-art 성능을 달성했다고 보고되었다. 또한 Nemotron-Cascade-2-30B-A3B 기반의 텍스트 능력인 추론력, 정렬, 지식, 장문 컨텍스트 유지 능력이 거의 또는 전혀 저하되지 않았다고 명시되어 있다. 모델 체크포인트 공개는 외부 연구자가 성능을 재현하고 추가 실험을 수행할 수 있는 근거를 제공한다.

모델 아키텍처는 Nemotron-Cascade-2-30B-A3B라는 강력한 텍스트 전용 MoE LLM을 기반으로 삼아 단일 Transformer 디코더를 유지하면서 오디오 입력을 통합하는 형태를 취했다. 핵심 메커니즘은 오디오 인코더가 추출한 특징을 텍스트 임베딩 공간으로 투사하고, 출력 측에서는 오디오를 양자화된 토큰으로 처리해 디코더가 텍스트 토큰과 동일한 방식으로 처리·생성하게 하는 것이다. 이 접근은 텍스트 전용 LLM의 토큰 생성 루틴, 토큰 분포 모델링, 및 사후처리 파이프라인을 재사용할 수 있게 해 인프라 호환성을 확보했다.