AI Nerd 밋업 요약 - 2025년 12월: 실시간 음성 AI와 자가 개선 에이전트

• •지연시간은 사용자 발화 종료 후 첫 오디오 재생 시점까지의 시간이다
• •우수한 사용자 경험을 위한 목표 지연시간은 250ms 수준이다
• •네트워크와 전화 시스템을 포함한 실제 환경에서의 측정이 필수적이다

지연시간 측정 시 VAD(Voice Activity Detection)가 화자의 종료를 감지하는 시간과 TTS가 첫 바이트를 생성하는 시간이 포함된다.

• •배치 처리를 제거하고 전 과정을 스트리밍 아키텍처로 전환했다
• •도구 호출과 같은 무거운 작업은 병렬 파이프라인으로 분리하여 처리한다
• •VAD 모델의 정확도가 턴 감지 지연시간에 직접적인 영향을 미친다

스트리밍 방식은 전체 데이터가 준비될 때까지 기다리지 않고 조각 단위로 즉시 처리하여 전달하는 방식이다.

• •사용자는 AI가 인간처럼 즉각적이고 유연하게 반응하기를 기대한다
• •단순 텍스트 처리를 넘어 운율과 맥락을 포함한 실시간 적응이 필요하다
• •AI와 사용자 간의 고유한 관계 형성이 대화의 질을 결정한다

운율적(Prosodic) 정보란 말의 높낮이, 강약, 속도 등 텍스트 이외의 음성적 특징을 의미한다.

• •실패 사례 분석을 통해 시스템 프롬프트를 자동으로 수정한다
• •수동 튜닝의 한계를 극복하고 반복적인 성능 향상을 가능하게 한다
• •Text-to-SQL 벤치마크에서 정확도를 약 15%p 향상시키는 결과를 얻었다

GEPA는 딥러닝의 경사 하강법(Gradient Descent) 개념을 텍스트 공간에 적용하여 프롬프트를 최적화하는 기법이다.

• •프롬프트 최적화와 RFT를 결합하여 시너지 효과를 창출했다
• •100개 미만의 적은 샘플로도 유의미한 성능 향상이 가능하다
• •최종 정확도는 베이스라인 대비 약 25%p 향상된 51.6%를 달성했다

RFT는 모델이 올바른 결과를 냈을 때 보상을 주는 방식으로 학습시켜 특정 작업 수행 능력을 강화한다.

from dspy.teleprompt import GEPA

# 평가기 및 모델 설정
trainer = GEPA(trainset=train_data, goal="accurate SQL generation")
reflection_lm = dspy.OpenAI(model="gpt-4o")
agent_lm = dspy.Fireworks(model="llama-v3-70b")

# 프롬프트 최적화 실행
optimized_agent = trainer.compile(
    student=agent_lm,
    teacher=reflection_lm,
    eval_metric=sql_accuracy_metric
)

# 최적화된 프롬프트로 실행
result = optimized_agent(question="Show me all users from Seoul")