Amazon Polly 양방향 스트리밍 출시: 대화형 AI를 위한 실시간 음성 합성

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

핵심 요약

기존의 텍스트 음성 합성(TTS) 방식은 전체 텍스트가 준비될 때까지 기다려야 하므로 LLM 기반 서비스에서 사용자 대기 시간이 길어지는 한계가 있었다. Amazon Polly가 새롭게 공개한 양방향 스트리밍 API는 HTTP/2 프로토콜을 활용해 텍스트 입력과 오디오 출력을 단일 연결에서 동시에 처리한다. 벤치마크 결과 기존 방식 대비 전체 처리 시간이 39% 단축되었으며, API 호출 횟수는 27회에서 1회로 줄어들어 인프라 복잡도가 크게 개선되었다. 이 기술은 실시간 대화형 AI 어시스턴트나 동시통역 시스템 구축 시 자연스러운 사용자 경험을 제공하는 핵심 기반이 된다.

배경

AWS SDK for Java 2.x 또는 JavaScript v3 사용 환경, HTTP/2 프로토콜 및 스트리밍 통신에 대한 기본 이해, Amazon Polly Generative 엔진 사용 권한

대상 독자

실시간 대화형 AI 어시스턴트나 LLM 기반 음성 서비스를 구축하는 개발자 및 아키텍트

의미 / 영향

이 기술은 LLM의 느린 생성 속도와 TTS의 대기 시간을 결합된 스트리밍으로 해결함으로써, 지연 시간 때문에 제약이 많았던 음성 AI 시장의 사용자 경험을 한 단계 끌어올릴 것입니다. 특히 복잡한 중간 서버 없이 클라이언트와 Polly가 직접 통신할 수 있어 스타트업의 개발 속도와 비용 효율성을 크게 높여줄 것으로 보입니다.

섹션별 상세

기존 TTS API는 요청-응답 패턴의 제약으로 인해 LLM이 모든 토큰을 생성할 때까지 합성을 시작할 수 없어 지연 시간이 누적되는 구조적 병목이 존재했다. 새로운 양방향 스트리밍 방식은 텍스트가 생성되는 즉시 단어 단위로 전송하여 합성을 시작하므로 첫 오디오 재생까지의 시간을 획기적으로 줄인다.

클라이언트, 미들웨어 서버, Amazon Polly 간의 복잡한 요청 흐름을 보여주는 전통적인 TTS 아키텍처 다이어그램 — Diagram기존 방식은 클라이언트가 WebSocket으로 미들웨어에 연결하고, 미들웨어가 텍스트를 분할하여 Polly에 여러 번의 HTTP 요청을 보내는 복잡한 구조임을 보여준다. 이 과정에서 발생하는 데이터 재조립과 다중 API 호출이 지연의 원인이 됨을 시각화한다.

StartSpeechSynthesisStream API는 HTTP/2 전이중 통신을 지원하여 클라이언트가 텍스트 이벤트를 보내는 동안 서버는 생성된 오디오 청크를 즉시 반환한다. 내부 테스트에서 970단어 분량의 텍스트 처리 시 총 시간이 115초에서 70초로 단축되는 성능 향상이 확인됐다.

단일 HTTP/2 스트림을 통해 클라이언트와 Amazon Polly가 직접 데이터를 주고받는 양방향 스트리밍 아키텍처 — Diagram새로운 API를 적용하면 중간 서버 없이 단일 연결 내에서 텍스트 입력과 오디오 출력이 동시에 흐르는 단순화된 구조를 보여준다. 이는 아키텍처 복잡도 감소와 지연 시간 단축의 핵심 근거를 제시한다.

전통적인 방식에서 지연 시간을 줄이기 위해 사용하던 복잡한 문장 분리 미들웨어나 병렬 API 호출 로직이 더 이상 필요하지 않게 되어 아키텍처가 단순해진다. 단일 영구 연결을 통해 상태를 유지하므로 서버 측 부하와 관리 포인트가 줄어들고 운영 비용 절감 효과를 기대할 수 있다.

개발자는 Java, JavaScript 등 다양한 AWS SDK를 통해 이 기능을 즉시 적용할 수 있으며, 플러시 설정을 통해 합성 타이밍을 정교하게 제어할 수 있다. 특히 LLM의 스트리밍 응답과 연동할 때 문장 부호 단위로 플러시를 수행하여 음질과 응답성 사이의 균형을 맞추는 구현이 가능하다.

java

PollyAsyncClient pollyClient = PollyAsyncClient.builder()
    .region(Region.US_WEST_2)
    .credentialsProvider(DefaultCredentialsProvider.create())
    .build();

StartSpeechSynthesisStreamRequest request = StartSpeechSynthesisStreamRequest.builder()
    .voiceId(VoiceId.JOANNA)
    .engine(Engine.GENERATIVE)
    .outputFormat(OutputFormat.MP3)
    .sampleRate("24000")
    .build();

비동기 Polly 클라이언트 및 스트리밍 요청 객체를 생성하는 기본 설정 코드

java

StartSpeechSynthesisStreamResponseHandler responseHandler = StartSpeechSynthesisStreamResponseHandler.builder()
    .subscriber(StartSpeechSynthesisStreamResponseHandler.Visitor.builder()
        .onAudioEvent(audioEvent -> {
            byte[] audioData = audioEvent.audioChunk().asByteArray();
            playOrBufferAudio(audioData);
        })
        .onStreamClosedEvent(event -> {
            System.out.println("Synthesis complete. Characters processed: " + event.requestCharacters());
        })
        .build())
    .build();

Visitor 패턴을 사용하여 실시간으로 수신되는 오디오 이벤트를 처리하는 핸들러 구현

java

llmClient.streamCompletion(prompt, token -> {
    boolean isSentenceEnd = token.endsWith(".") || token.endsWith("!") || token.endsWith("?");
    pollyStreamer.sendText(token, isSentenceEnd);
});

LLM에서 생성되는 토큰을 실시간으로 Polly 스트림에 전달하고 문장 끝에서 플러시를 수행하는 로직

실무 Takeaway

LLM 응답과 TTS 합성을 병렬로 처리하여 대화형 AI의 체감 지연 시간을 기존 대비 약 40% 단축할 수 있다.
복잡한 문장 분리 로직이나 미들웨어 없이 단일 HTTP/2 스트리밍 API만으로 실시간 음성 인터페이스 구현이 가능하다.
API 호출 횟수를 획기적으로 줄여 네트워크 오버헤드와 인프라 운영 비용을 동시에 최적화할 수 있다.

언급된 리소스

API DocsAmazon Polly API Reference

문서AWS SDK for Java 2.x Documentation

PollyAsyncClient pollyClient = PollyAsyncClient.builder() .region(Region.US_WEST_2) .credentialsProvider(DefaultCredentialsProvider.create()) .build(); StartSpeechSynthesisStreamRequest request = StartSpeechSynthesisStreamRequest.builder() .voiceId(VoiceId.JOANNA) .engine(Engine.GENERATIVE) .outputFormat(OutputFormat.MP3) .sampleRate("24000") .build();

StartSpeechSynthesisStreamResponseHandler responseHandler = StartSpeechSynthesisStreamResponseHandler.builder() .subscriber(StartSpeechSynthesisStreamResponseHandler.Visitor.builder() .onAudioEvent(audioEvent -> { byte[] audioData = audioEvent.audioChunk().asByteArray(); playOrBufferAudio(audioData); }) .onStreamClosedEvent(event -> { System.out.println("Synthesis complete. Characters processed: " + event.requestCharacters()); }) .build()) .build();

Amazon Polly 양방향 스트리밍 출시: 대화형 AI를 위한 실시간 음성 합성

핵심 요약

배경

대상 독자

의미 / 영향

섹션별 상세

실무 Takeaway

언급된 리소스

Amazon Polly 양방향 스트리밍 출시: 대화형 AI를 위한 실시간 음성 합성

핵심 요약

배경

대상 독자

의미 / 영향

섹션별 상세

실무 Takeaway

언급된 리소스

관련 토론

댓글

관련 피드

관련 토론

댓글

관련 피드