정서적 지지 대화를 위한 단일 턴 내 다중 지원 전략 모델링

기존 AI 상담 모델은 한 번에 하나의 전략만 사용해 대화가 단조로웠으나, 이 논문은 인간처럼 한 문장에 공감과 제안을 동시에 담는 기술을 구현했다. 이를 통해 대화 효율성을 높이고 사용자의 정서적 완화 효과를 극대화할 수 있는 새로운 연구 방향을 제시했다.

기존의 정서적 지지 시스템은 '공감하기' 또는 '조언하기' 중 하나만 선택해 답변하는 방식이었다. 이는 마치 상담사가 한 번에 한 마디만 하는 것과 같아 대화의 흐름이 끊기고 깊이가 부족해지는 한계가 있었다. 인간은 보통 '정말 힘드셨겠네요(공감)'와 '혹시 산책을 해보는 건 어떨까요?(제안)'를 한 번에 말하며 정서적 유대감을 쌓는다.

이 논문은 모델이 답변을 내놓기 전, 사용자의 임베딩된 감정 상태를 다각도로 분석하는 '인지적 추론' 단계를 거치게 한다. 모델은 먼저 사용자의 상황을 파악하고, 그 이면의 생각과 감정을 추론한 뒤, 어떤 순서로 전략을 배치할지 계획을 세운다. 이 과정은 Transformer의 Attention 메커니즘이 문맥을 파악하는 단계를 넘어, 명시적인 텍스트 체인으로 사고 과정을 구조화하는 것이다.

결과적으로 모델은 여러 전략을 논리적으로 연결하여 하나의 완성된 문장으로 출력한다. 이는 강화학습을 통해 더욱 정교해지는데, 전략의 순서가 적절한지(Levenshtein Ratio)와 형식이 올바른지를 숫자로 보상받으며 학습한다. 이렇게 학습된 모델은 대화 턴 수를 줄이면서도 사용자의 만족도를 높이는 효율적인 지지 능력을 갖추게 된다.

전체 접근 방식은 ESC를 다중 전략 생성 문제로 공식화하는 것이다. Supporter의 발화 u_sys를 여러 개의 전략-응답 쌍 {s, r}의 집합으로 정의하고, 이를 생성하기 위한 두 가지 디코딩 전략을 사용한다. All-in-One은 모든 쌍을 한 번의 시퀀스로 생성하며, One-by-One은 종료 플래그가 나올 때까지 반복적으로 쌍을 생성한다.

핵심 메커니즘은 4개의 노드로 구성된 인지적 추론 체인이다. Context(외부 상황), Cognition(사용자의 신념/해석), Emotion(예상되는 감정 상태), Support Plan(전략 실행 계획)을 순차적으로 생성한다. [입력 텍스트 → 추론 노드 생성 → 최종 답변 생성] 순으로 연산이 진행되며, 이는 모델이 즉각적인 반응 대신 심층적인 문맥 이해를 바탕으로 답변하도록 유도한다.

학습은 SFT(지도 학습)와 GRPO(강화학습)의 2단계로 진행된다. GRPO 단계에서는 생성된 출력 y에 대해 형식 보상 r_fmt와 전략 일치 보상 LR(sy, sr)을 계산한다. [예측 전략 시퀀스 sy와 정답 sr 비교 → 편집 거리 기반 유사도 산출 → 보상 값 결정] 과정을 통해 모델은 데이터셋에 나타난 인간의 전략 배치 패턴을 학습하고 최적의 답변 구조를 형성한다.

Utterance-level 평가에서 One-by-One + Reasoning + RL 모델은 EMR(Exact Match Rate) 33.53%, LR(Levenshtein Ratio) 37.97%를 기록하며 모든 베이스라인을 압도했다. 특히 단일 전략 모델(EMR 25.21%) 대비 전략 예측 정확도가 크게 향상되었으며, BERTScore와 ROUGE 등 생성 품질 지표에서도 최고점을 달성했다.

Dialogue-level(시뮬레이션) 평가 결과, 제안된 모델은 성공률(SR) 40.00%를 기록하여 단일 전략 모델(13.85%)보다 약 3배 높은 성과를 보였다. 평균 대화 턴 수(AT) 또한 8.46으로 가장 낮아, 적은 대화로도 사용자의 정서적 문제를 더 효율적으로 해결할 수 있음을 입증했다.

Ablation study를 통해 인지적 추론(Reasoning)의 기여도를 분석한 결과, 추론 노드를 추가하는 것만으로도 모든 지표가 일관되게 상승했다. 또한 DeepSeek-R1, GPT-5 등 대형 모델로부터 추론 체인을 증류(Distillation)하여 학습시키는 것이 모델의 안정적인 사고 능력을 확보하는 데 핵심적인 역할을 했음이 확인됐다.

본 연구는 LLaMA-3.1-8B-Instruct를 백본으로 사용하며, LoRA를 통한 효율적인 파인튜닝을 수행한다. All-in-One 방식은 전략과 응답을 단순 연결한 시퀀스를 학습하며, One-by-One은 각 단계마다 '계속 여부'를 결정하는 이진 플래그(f_sys)를 포함하여 반복적인 디코딩을 수행하도록 설계되었다.

강화학습 알고리즘으로 채택된 GRPO는 별도의 Value Network 없이 그룹 내 보상의 평균과 표준편차를 이용해 Advantage를 계산한다. [그룹 내 샘플 보상 r_i → 평균 및 표준편차 계산 → (r_i - mean)/std 산출 → 정책 업데이트] 과정을 거치며, 이는 특히 정해진 형식을 지켜야 하는 추론 체인 학습에서 높은 안정성을 제공한다.

추론 체인 데이터는 DeepSeek-R1, Qwen3-235B, GPT-5, Gemini-2.5-Flash 등 4종의 강력한 LLM으로부터 증류되었다. 각 모델의 서로 다른 추론 스타일을 통합함으로써 특정 모델의 편향을 줄이고, 정서적 상황에 대한 보다 풍부하고 객관적인 분석 능력을 확보했다.

생성된 발화 중 다중 전략이 포함된 비율이 여전히 실제 ESConv 데이터셋의 분포보다는 낮아 다양성 측면에서 개선의 여지가 있다. 또한 평가가 주로 시뮬레이션된 사용자(Simulated Seeker)를 대상으로 이루어졌으므로, 실제 인간과의 상호작용에서 발생할 수 있는 미묘한 감정적 변화를 완벽히 포착하지 못했을 가능성이 있다.