TL;DR

A.X K2 Raon-Speech는 A.X K2 Light 20B-A3B MoE 텍스트 백본을 기반으로 AuT 인코더와 Mimi 스타일 코덱을 통합한 21.2B 규모의 엔드투엔드 음성 멀티모달 모델입니다. STT, TTS, SpeechQA, SpokenQA, 도구 호출 등 any-to-any 파이프라인을 단일 체크포인트로 지원하며 스피커 조건화·TTS 연속 생성·패럴링귀스틱 처리를 포함합니다. 훈련 과정에는 백본 동결 기반 정렬, 교차모달 증류, 도구-튜닝, 자기증류, 그리고 TTS DPO가 포함되어 실제 도메인 지표(예: 도구 호출 0.543→0.740, TTS 에러 3.6%→3.1%) 개선을 목표로 삼았습니다. 공개된 비교에서는 한국어 집계 0.72로 동급 공개 모델 중 1위를 기록했고 배포를 위해서는 BF16 체크포인트(약 42.4GB)와 고메모리 GPU(권장 80GB)가 필요합니다.

핵심 포인트

• A.X K2 Light 20B-A3B MoE 텍스트 백본을 핵심으로 삼는 21.2B 규모의 멀티모달 모델이며 활성화되는 파라미터는 약 3.5B 수준입니다. 텍스트 백본은 top-8 routing의 128개 전문가를 가진 Mixture-of-Experts 구조로 설계되어 다중 작업을 효율적으로 분기·집중 처리합니다. 이 구조는 텍스트·교차모달 지식 전달과 대규모 맥락(최대 131,072 토큰) 유지에 유리합니다.
• 음성 전용 모듈은 KRAFTON에서 독립 학습한 AuT 기반 스피치 인코더(약 317M)와 Mimi 스타일의 뉴럴 오디오 코덱(약 96M)을 포함하며, 이 두 모듈은 텍스트 백본과 정렬된 후 엔드투엔드 경로에서 직접 연결됩니다. 입력 오디오는 먼저 AuT 인코더로 SpeechLM 코드 또는 텍스트 표현으로 변환되고, 백본에서 처리된 출력은 필요 시 코덱을 통해 직접 오디오로 합성됩니다. 이렇게 모듈을 독립 훈련한 뒤 정렬하는 방식은 음성 인식·합성 품질을 동시에 끌어올리는 데 기여합니다.
• 다중 작업·다국어 성능과 패럴링귀스틱(감정·화자) 처리가 주요 차별점이며, 스피커 참조를 받아 음성 조건화된 TTS와 레퍼런스 오디오로부터 자연스럽게 연결되는 TTS 연속 생성(prefill-based continuation)을 지원합니다. 훈련 파이프라인에 도구 호출 파인튜닝, 자기교사식(distillation) 기법, 그리고 TTS Direct Preference Optimization이 포함되어 특정 결함(장음·중복·불완전한 종결)을 감소시키도록 설계되어 있습니다. 공개된 비교에서는 한국어 종합 점수 0.72로 같은 규모 이하 공개 모델 중 1위를 기록하고 영어 종합 점수 0.75로 3위 안에 들며 실사용 가능한 균형을 목표로 합니다.

제한사항

벤치마크

이미지 분석