부분 전사를 성급히 LLM에 보내면 생기는 문제

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

TL;DR

음성 입력을 사용하는 LLM 앱에서는 실시간 전사 속도만으로 transcription API를 평가하기 어렵습니다. 중간 전사 결과를 매번 LLM에 보내면 화면은 빠르게 반응하지만, 사용자가 말을 이어가는 동안 앞선 문장이 수정될 수 있습니다. 예를 들어 “cancel my…”가 “cancel my request from yesterday, not my account”로 구체화되거나, “book it for Friday”가 최종적으로 “don’t book it for Friday”로 바뀔 수 있습니다. 이런 상태에서 LLM이 잘못된 의도를 미리 활성화하거나 tool call을 실행하면 최종 발화와 다른 동작이 발생합니다.

실용적 조언

최종 transcription이 확정되기 전에 LLM이 의도를 확정하거나 tool call을 실행하지 않도록 partial 결과와 final 결과를 구분해야 합니다.

섹션별 상세

음성 입력을 받는 LLM 앱에서 모든 중간 전사 결과를 곧바로 모델에 보내면 응답 지연은 줄어들지만 의도가 확정되기 전에 판단이 시작됩니다. 사용자가 “cancel my…” 뒤에 “request from yesterday, not my account”를 덧붙이면 앞선 전사가 가리키던 대상이 달라집니다. 따라서 빠른 스트리밍 자체가 안전한 사용자 경험을 보장하지 않습니다.

부분 전사는 발화가 진행되는 동안 내용이 수정되는 입력이고, LLM은 그 상태에서도 의도를 예열하거나 tool call을 실행할 수 있습니다. “book it for Friday”가 최종적으로 “don’t book it for Friday”가 되면 예약 의도가 반대 의도로 바뀌지만, 조기 호출이 이미 실행됐을 가능성이 있습니다. 문제의 핵심은 transcription API의 속도가 아니라 불안정한 중간 결과를 확정 의도로 처리하는 입력 흐름입니다.

용어 해설

부분 전사(Partial Transcription): — 음성 입력이 끝나기 전에 실시간으로 생성되는 중간 텍스트입니다. 발화가 이어지면 이전 결과가 수정될 수 있어, 이를 확정된 사용자 의도로 간주하면 LLM의 판단이나 후속 동작이 바뀔 위험이 있습니다.
실시간 음성 전사 API(Real-time Transcription API): — 음성을 입력받는 즉시 텍스트 조각을 스트리밍하는 인터페이스입니다. 빠른 화면 반응을 제공하지만, 최종 발화가 나오기 전에는 중간 텍스트가 불완전하거나 변경될 수 있어 LLM 입력 시점 관리가 필요합니다.
도구 호출(Tool Call): — LLM이 해석한 사용자 의도에 따라 외부 함수나 서비스를 실행하는 동작입니다. 전사 결과가 확정되기 전에 호출하면 잘못된 중간 의도만으로 예약이나 계정 변경 같은 작업이 실행될 수 있습니다.