SimulU: 장문 동시 통역을 위한 학습이 필요 없는 음성 대 음성 번역 정책

기존의 실시간 통역 시스템은 방대한 데이터를 새로 학습시켜야 하거나 짧은 문장만 처리할 수 있는 한계가 있었다. 이 논문은 추가 학습 없이도 사전 학습된 AI 모델의 내부 정보를 활용해 긴 대화를 실시간으로 통역하는 SimulU 기술을 제안한다. 이를 통해 복잡한 학습 과정 없이도 다양한 언어 간의 자연스러운 실시간 소통이 가능해진다.

Transformer의 Attention 메커니즘은 입력 시퀀스의 각 부분이 서로 얼마나 관련이 있는지를 수치화한다. 동시 통역에서는 전체 음성이 다 들어오기 전에 번역을 시작해야 하므로, 현재까지 들어온 음성만으로 번역을 생성할 수 있는지 판단하는 것이 핵심적인 한계로 작용한다. SimulU는 사전 학습된 모델 내부의 Cross-Attention 점수를 안전 장치로 활용한다. [생성할 텍스트 토큰과 입력 음성 프레임 간의 유사도를 계산하여] -> [최대 유사도를 가진 프레임 위치를 확인하고] -> [그 위치가 아직 입력되지 않은 미래 시점이라면 출력을 보류하는] 원리이다. 이 방식은 추가 학습 없이도 모델이 스스로 확신이 드는 시점을 찾게 해준다. 결과적으로 긴 음성 스트림에서도 문맥을 놓치지 않고 실시간으로 번역 음성을 내보낼 수 있게 된다.

SimulU는 SeamlessM4T를 기반으로 하며 입력 음성을 0.5~2.0초 단위의 청크로 나누어 처리한다. S2T(Speech-to-Text) 모듈이 음성 이력을 바탕으로 텍스트 가설을 생성하면 Cross-Attention 점수를 통해 각 토큰의 안정성을 검증한다. 안정성 검증은 [텍스트 토큰별 어텐션 가중치 분포를 입력으로] -> [가장 높은 가중치를 가진 음성 프레임의 인덱스를 추출하여] -> [현재 입력된 마지막 프레임과의 거리를 계산하고] -> [일정 거리 이상 떨어져 있으면 출력을 확정하는] 방식으로 동작한다. 이력 관리는 텍스트 이력에서 고정된 개수의 단어만 남기고 나머지는 제거한다. 이때 [제거되는 텍스트와 가장 강하게 연결된 음성 프레임들을 입력으로] -> [해당 구간을 음성 이력에서 삭제하는 연산을 수행해] -> [입출력 간의 시간적 정렬을 유지하며] 메모리 부하를 방지한다. 최종 출력은 T2U(Text-to-Unit) 모듈을 통해 이산적인 음성 유닛을 생성하고 이를 보코더에 전달하여 합성한다. 유닛 생성 시 전체 텍스트 이력을 함께 입력하는 것이 음성 품질을 크게 개선함이 확인됐다.

MuST-C v1.0 벤치마크의 8개 언어 쌍에서 실험한 결과 SimulU는 기존의 강력한 캐스케이드 모델(StreamAtt+XTTS-v2)과 대등하거나 더 높은 ASR-BLEU 점수를 기록했다. 특히 불어, 포르투갈어, 루마니아어 등에서 45점 이상의 큰 폭의 성능 향상을 보였다. 지연 시간 지표인 StartOffset 측정 결과 대부분의 언어에서 12초 사이의 지연 시간을 기록했다. 이는 사람이 자연스럽게 느낄 수 있는 실시간 통역의 한계치인 2초 이내를 안정적으로 충족하는 수치이다. 장문 처리 효율성 분석에서 SimulU는 캐스케이드 모델보다 더 낮은 End-Offset(입력 종료 후 최종 출력까지의 시간)을 기록했다. 또한 지연 시간의 표준 편차가 작아 통역 시스템의 반응 속도가 일정하게 유지됨이 확인됐다.

아키텍처는 SeamlessM4T-medium-v1을 활용하며 약 10억 개의 파라미터를 보유한다. 음성 인코더는 w2v-BERT 구조의 12개 Conformer 레이어로 구성되어 약 3억 개의 파라미터를 사용하며 텍스트 디코더는 약 100개 언어를 지원하는 NLLB 아키텍처를 채택했다. 핵심 메커니즘인 Stable Hypothesis Selection은 [디코더의 Cross-Attention 가중치를 입력으로] -> [각 토큰이 정렬된 음성 프레임 위치를 계산하여] -> [미래 프레임에 대한 의존성을 차단하는] 알고리즘이다. 이는 별도의 정책 학습 없이도 오프라인 모델을 온라인 모드로 전환할 수 있게 한다. 구현 세부사항으로 음성 유닛 생성 시 50Hz의 샘플링 레이트를 사용하며 XLS-R-1B 모델의 35번째 레이어 표현을 k-means 클러스터링하여 추출한다. 최종 음성 합성은 다국어 HiFi-GAN 유닛 보코더를 통해 이루어진다. 기존 연구인 StreamAtt와의 차별점은 텍스트 생성뿐만 아니라 음성 유닛 생성 및 이력 관리 전 과정에 Cross-Attention 기반의 동적 선택 정책을 적용했다는 점이다.

SeamlessM4T의 TTS 컴포넌트가 부분적인 문장 조건에서 품질이 저하되는 경향이 있어 향후 더 견고한 음성 합성 모델과의 결합이 필요함.