LLM 기반 대화형 사용자 시뮬레이션에 관한 서베이

LLM의 발전으로 실제 사람처럼 대화하는 가상 사용자를 생성하여 AI 시스템을 테스트하고 데이터를 증강하는 것이 가능해졌다. 이 논문은 파편화된 사용자 시뮬레이션 연구를 체계적인 프레임워크로 통합하여 향후 연구 방향을 제시한다.

기존의 사용자 시뮬레이션은 통계적 모델이나 고정된 규칙에 의존하여 인간 대화의 복잡성과 가변성을 포착하는 데 한계가 있었다. LLM의 등장은 방대한 텍스트 데이터에 내재된 인간의 언어 패턴과 지식을 활용할 수 있게 함으로써 이 문제를 해결한다.

동작 원리의 핵심은 LLM의 조건부 언어 모델링 능력을 활용하는 것이다. 특정 페르소나 정보나 대화 이력을 조건(Condition)으로 주었을 때, LLM은 해당 맥락에서 가장 확률이 높은 다음 발화를 생성한다. 이는 Embedding 공간에서 특정 사용자의 특성을 나타내는 벡터 영역을 탐색하거나, Fine-tuning을 통해 특정 대화 스타일의 가중치를 강화하는 방식으로 구체화된다.

결과적으로 시뮬레이터는 단순한 텍스트 생성을 넘어 사용자의 의도, 감정, 지식 수준을 반영한 고차원적인 상호작용을 수행한다. 이는 데이터가 부족한 도메인에서 합성 데이터를 생성하거나, 위험 요소가 있는 환경에서 AI 에이전트를 안전하게 테스트할 수 있는 환경을 제공한다.

사용자 시뮬레이션의 방법론은 크게 네 가지 기술적 범주로 나뉜다.

첫째, Prompt-based 기법은 모델의 파라미터를 수정하지 않고 인컨텍스트 학습(In-context Learning)을 활용한다. Zero-shot 또는 Few-shot 예시를 입력으로 주어 모델이 특정 사용자의 역할을 수행하도록 유도하며, CoT를 결합해 논리적 일관성을 높인다.

둘째, RAG 기반 기법은 외부 지식 베이스나 사용자의 과거 이력에서 관련 정보를 검색하여 입력값에 포함시킨다. [대화 맥락 → 관련 문서 검색 → 검색 결과 주입 → 발화 생성] 과정을 통해 모델의 기억력 한계를 극복하고 사실 관계의 정확성을 확보한다.

셋째, Fine-tuning 기법은 특정 사용자 그룹의 대화 데이터셋 D를 사용하여 모델의 가중치 Θ를 직접 업데이트한다. Cross-entropy 손실 함수를 최소화하는 방향으로 학습하여 모델이 특정 도메인이나 페르소나의 언어적 특징을 내재화하도록 만든다.

넷째, RL/DPO 기법은 다회차 대화(Multi-turn)의 품질을 최적화한다. 보상 함수 R(τ)를 최대화하는 정책 πθ를 학습시키며, 특히 DPO는 [선호 발화 vs 비선호 발화] 쌍을 입력으로 받아 모델이 사용자가 만족할 만한 방향으로 대화를 이끌도록 정렬한다.

논문은 다양한 벤치마크를 통해 각 기법의 성능을 비교 분석했다. RoleLLM 벤치마크 결과, GPT-4와 같은 대형 모델이 프롬프트만으로도 우수한 성능을 보였으나, 특정 역할에 특화된 지식(SPE) 측면에서는 작은 모델이라도 Fine-tuning을 거친 모델이 더 높은 정확도를 기록했다.

WikiRole 데이터셋 실험에서는 Qwen-72B 모델이 90%의 정확도를 기록하며 가장 우수한 성능을 보였으며, 이는 모델의 크기와 사전 학습된 지식의 양이 시뮬레이션 품질에 직결됨을 시사한다. 또한, RAG를 활용한 기법은 정보 검색의 정확도는 높였으나 대화의 자연스러움 측면에서는 Fine-tuning 모델보다 낮은 점수를 받는 경향이 확인됐다.

평가 지표 분석에서는 BLEU, ROUGE와 같은 전통적인 N-gram 중첩 지표가 인간의 주관적 만족도와 낮은 상관관계를 보임을 지적했다. 대신 LLM-as-a-Judge 방식이 일관성, 사실성, 안전성 평가에서 인간의 판단과 더 유사한 결과를 도출하는 것으로 나타났다.

사용자 시뮬레이션의 아키텍처는 시뮬레이션 대상의 정의부터 시작된다. General User는 모집단의 평균적인 특성을 따르며, Persona-level은 인구통계학적 속성 집합 Ψp = {ψ1, ..., ψm}으로 정의된다. Individual User는 전체 개인 이력 Hp를 직접적인 컨텍스트로 사용한다.

수학적으로 대화 시뮬레이션은 P(ut | Ct-1, Ψpi)로 정형화된다. 여기서 Ct-1은 이전 대화 이력, Ψpi는 사용자의 맥락 정보이며, 모델은 이 조건 하에서 다음 발화 ut의 확률 분포를 모델링한다. 역할극 시뮬레이션의 경우, 모델은 정체성 핸들 h를 잠재 매니폴드 M 상의 임베딩 I := Eθ(h)로 인코딩하여 동작을 제어한다.

학습 전략에서는 단순한 SFT를 넘어 계층적 강화학습(Hierarchical RL)이 도입되고 있다. ArCHer와 같은 모델은 발화 수준과 토큰 수준의 제어를 분리하여 장기적인 대화 계획(Long-horizon planning)을 수립한다. 이는 대화가 길어질수록 페르소나가 붕괴되는 'Persona Drift' 문제를 해결하기 위한 핵심 장치이다.

현재 시뮬레이션 기술은 긴 대화에서 페르소나의 일관성을 유지하는 데 어려움을 겪으며, 문화적/언어적 다양성이 부족하여 특정 집단에 편향된 결과를 생성할 위험이 있다. 또한, 실제 인간의 복잡한 심리적 변화나 비협조적인 태도를 모방하는 능력이 여전히 부족하다는 점이 명시되었다.