SLM 기반의 셀프 호스팅 음성 비서 구축 사례: 구조화된 JSON 출력의 승리

실용적 조언

모델이 유효하지 않은 JSON을 생성하는 것을 방지하기 위해 반드시 제약 조건 디코딩(Constrained Decoding)을 적용하라
약 50개의 대화 예시만으로도 특정 도메인에 특화된 SLM 파인튜닝과 증류가 가능하다
오케스트레이터 구현 시 슬롯 유효성 검사와 재시도 로직에 공을 들여야 한다

섹션별 상세

기존의 엔드투엔드 모델 방식은 상태 관리와 응답 생성을 동시에 수행하면서 잔액 할루시네이션과 슬롯 누락 문제를 야기했다. 사용자가 정보를 순서 없이 말하거나 긴 문장을 생성할 때 지연 시간이 불안정해지는 현상이 반복됐다. 이를 해결하기 위해 모델은 오직 의도 분류와 슬롯 추출 결과인 JSON만 내뱉도록 역할을 엄격히 분리했다.

두 부분으로 구성된 시스템 아키텍처를 도입하여 모델과 코드 사이의 경계를 명확히 했다. SLM은 노이즈가 섞인 음성 데이터를 이해하고 구조화된 데이터로 변환하는 어려운 작업만 수행한다. 이후 결정론적 오케스트레이터가 템플릿 기반 응답 생성, 상태 추적, 함수 호출 등 예측 가능한 로직을 처리함으로써 시스템의 안정성을 확보했다.

json

{"intent": "...", "slots": {...}}

모델이 자유 형식 텍스트 대신 출력해야 하는 구조화된 JSON 스키마 예시

ASR, 파인튜닝된 SLM, TTS 및 결정론적 오케스트레이터로 구성된 음성 비서 아키텍처 다이어그램 — Diagram음성 파이프라인의 각 단계별 지연 시간을 시각화하여 보여준다. 파인튜닝된 SLM이 약 40ms의 빠른 추론 속도를 기록하며, 모델이 JSON을 출력하면 오케스트레이터가 의도 실행 및 상태 관리를 담당하는 구조를 명확히 설명한다.

성능 측정 결과 파인튜닝된 Qwen 0.6B 모델이 120B 규모의 거대 모델보다 높은 정확도를 기록했다. 베이스 모델은 48.7%의 정확도에 그쳤으나, 증류(Distillation)를 통해 학습된 0.6B 모델은 90.9%의 정확도를 달성하며 120B 모델의 87.5%를 넘어섰다. 이는 특정 도메인에 특화된 파라미터 최적화가 범용 거대 모델보다 효율적일 수 있음을 증명한다.

음성 파이프라인에서 지연 시간 단축은 사용자 경험의 핵심이며 소형 모델의 로컬 호스팅이 이를 가능케 했다. 클라우드 기반 LLM 사용 시 수백 ms에 달하던 뇌(Brain) 단계 지연 시간을 로컬 SLM을 통해 40-100ms 수준으로 단축했다. 5턴 이상의 대화에서는 매 턴의 정확도가 복리로 작용하므로 단일 턴의 도구 호출 정확도 개선이 전체 성공률을 결정한다.

용어 해설

소형 언어 모델(SLM): — 수십억 개 미만의 파라미터를 가진 작은 규모의 언어 모델로, 특정 작업에 특화되어 낮은 지연 시간과 적은 자원으로 효율적인 추론이 가능합니다.
슬롯 필링(Slot Filling): — 사용자의 발화에서 의도 파악에 필요한 핵심 정보(금액, 계좌 번호 등)를 추출하여 사전에 정의된 데이터 구조의 빈칸을 채우는 과정입니다.
제약 조건 디코딩(Constrained Decoding): — 모델이 텍스트를 생성할 때 특정 형식(예: JSON)이나 문법을 반드시 따르도록 출력 가능한 토큰을 제한하여 데이터의 신뢰성을 높이는 기법입니다.
의도 분류 체계(Intent Taxonomy): — 사용자가 수행하려는 작업(잔액 조회, 송금 등)을 계층적 또는 목록 형태로 정의한 분류 체계로 에이전트의 동작 범위를 결정합니다.

언급된 도구

Qwen추천

0.6B 규모의 베이스 모델로 사용되어 파인튜닝 후 음성 비서의 뇌 역할 수행