OpenAI Realtime API 기반 맥용 음성 튜터 구축 및 프롬프트 엔지니어링 경험 공유

실시간 API의 독특한 동작 방식에 대해 많은 개발자가 공감하며, 특히 VAD(음성 감지)의 불안정성과 토큰 비용 관리 문제에 대한 추가 논의가 이어졌다.

• 음성 응답의 길이를 줄이려면 '옆에 앉아 있는 것처럼 1-2문장으로 대화하듯 답하라'는 프롬프트를 사용하라.
• 도구 호출 전 문장 완성을 강제하여 음성 끊김 현상을 완화하라.

• Realtime API에서는 중간 지시가 잘 통하지 않으므로 초기 시스템 프롬프트에 페르소나와 제약 사항을 모두 포함해야 한다.
• 음성 모델의 특성상 텍스트 예시보다는 행동 지침 위주의 프롬프트가 대화 흐름 제어에 더 적합하다.
• 도구 호출 시 음성이 끊기는 문제를 방지하려면 문장 종결 후 호출하도록 명시적인 프롬프트 제어가 필요하다.
• 동적 데이터 주입 시 시스템 프롬프트 수정보다 가짜 사용자 메시지 아이템을 생성하는 것이 컨텍스트 신선도 유지에 유리하다.