NeurIPS 2026 RTCA 워크숍 CFP

게시자는 커뮤니티에 워크숍 주제의 적합성과 데모 트랙 관련 질문을 받을 준비가 되어 있다고 밝혔으며, 초기 반응으로는 실시간 상호작용 평가와 데모 실행 가능성에 관한 관심이 높습니다. 일부 댓글은 평가 지표와 벤치마크의 구체적 사례를 묻는 요청을 했고, 다른 댓글은 온디바이스 실험 사례나 참가 경험을 공유하려는 의사를 보였습니다. 발표자 구성과 제출 마감일(2026-08-29)을 명시한 점은 제출·협업 의사 결정을 촉진하는 요소로 받아들여졌습니다.

• 제출을 고려하는 연구자는 실시간 환경에서의 입력→처리→출력 파이프라인을 명확히 기술해야 합니다. 논문에는 지연 측정치, 실시간 제약 하에서의 품질 트레이드오프(예: MCD/WER와 지연의 관계), 그리고 재현 가능한 평가 프로토콜을 포함하면 심사 과정에서 유리합니다. 또한 데모를 제출할 경우 무대 시연 요건(네트워크 조건, 하드웨어 제약, 안전·동의 절차)을 미리 점검해 사전 리허설을 권합니다.
• 평가·벤치마크 제안은 인간 지각 실험 설계와 자동 메트릭의 결합을 권장합니다. 실험은 반복 가능한 절차와 데이터 수집 파이프라인을 포함해야 하며, 지각 실험은 표본 크기·통제 조건·평가 질문지를 명시해 타 연구자가 결과를 검증할 수 있도록 구성해야 합니다. 자동화 메트릭은 타이밍 측정법(반응 시간, 교대 지연 등)을 명확히 정의해 상호 비교 가능성을 확보해야 합니다.
• 데모 준비 시 안전성과 깊은 가짜(deepfake) 위험을 고려해 참가자 동의 및 식별 가능한 컨텐츠 표기를 준비해야 합니다. 쇼케이스에서는 합성된 음성·얼굴을 사용할 경우 관객에게 명확히 고지하고, 실시간 송출의 녹음·저장 정책을 안내하며, 민감 데이터가 포함되지 않도록 유의해야 합니다. 이러한 절차는 윤리적 책임을 줄이고 워크숍 주최 측의 운영 리스크를 낮춥니다.

스트리밍 음성 합성(streaming speech synthesis)

— 스트리밍 음성 합성은 입력 텍스트를 순차적으로 처리하여 낮은 지연으로 음성을 생성하는 기술로서, 입력 버퍼가 채워지지 않은 상태에서도 중간 출력(프리뷰)을 내보내며 실시간 대화에 맞춘 타이밍 제어와 점진적 디코딩 전략이 핵심 역할을 합니다. 모델은 작은 오디오 청크를 생성하고 누적하며 출력 품질과 지연 사이의 균형을 맞춥니다.

점진적·추측적 디코딩(incremental and speculative decoding)

— 점진적 디코딩은 모델이 입력이 완전히 들어오기 전에 부분 결과를 생성하는 방식이며, 추측적 디코딩은 여러 가능한 다음 토큰을 동시 예측해 지연을 줄이는 보완 기법입니다. 이 과정에서는 불확실성 관리와 후속 수정(rollback 또는 보완 생성)이 중요하며, 단일-턴 품질과 상호작용 지연 간 트레이드오프를 조정해야 합니다.

발화 교대와 백채널(turn-taking and backchannels)

— 발화 교대와 백채널은 대화 흐름을 자연스럽게 만드는 상호작용 요소로서, 말하는 타이밍, 짧은 동의 신호, 끼어들기 허용 규칙 등을 포함합니다. 실시간 에이전트 구현에서는 음성·시선·제스처 신호를 동기화해 타이밍을 예측하고, 부분 관찰下에서도 적절한 반응을 생성하는 정책이 필요합니다.

상호작용적 자연스러움 평가(evaluation of naturalness)

— 상호작용적 자연스러움 평가는 단일 발화 품질이 아니라 연속적 대화 경험에서의 타이밍, 반응성, 감정 표현 등을 측정하는 접근법입니다. 실험 설계는 실사용 환경과 유사한 대화 세션을 만들고, 지각적 점수·교대 메트릭·지연 인지치를 결합해 오프라인 지표로는 잡히지 않는 상호작용 문제를 포착합니다.

풀듀플렉스 오디오·언어 모델(full-duplex audio–language models)

— 풀듀플렉스 오디오·언어 모델은 양방향 동시 송수신을 지원해 상대방이 말하는 동안에도 출력을 생성할 수 있는 시스템 구조를 의미합니다. 마이크 입력과 합성 출력이 중첩될 때의 에코 제거, 실시간 인식·응답 동기화, 그리고 지연 제어가 구현상의 핵심 과제입니다.

실시간 토킹헤드 생성(real-time talking-head generation)

— 실시간 토킹헤드 생성은 음성 신호와 텍스트·감정 정보를 입력으로 받아 얼굴 애니메이션을 즉시 합성하는 기술입니다. 실시간 제약 때문에 프레임 단위 지연 최소화, 입술 동기화, 시선·표정의 자연스러운 전환을 위한 경량화 모델과 파이프라인 설계가 요구됩니다.