Conv-FinRe: 효용 기반 금융 추천을 위한 대화형 및 시계열 벤치마크

기존 추천 시스템이 사용자의 과거 행동을 단순히 따라 하는 데 그쳤다면, 이 논문은 사용자의 숨겨진 위험 선호도를 분석해 진정으로 유익한 추천인지 평가하는 틀을 제시한다. 특히 시장 변동성이 큰 금융 분야에서 AI가 단순한 유행 추종자가 아닌 합리적인 조언자 역할을 할 수 있는지 검증한다.

기존 추천 시스템은 사용자가 과거에 클릭하거나 구매한 항목을 정답(Ground Truth)으로 간주하고 이를 예측하도록 학습된다. 하지만 금융 투자에서는 사용자가 공포나 탐욕 같은 감정에 휘둘려 자신의 장기적인 목표나 위험 감수 능력에 어긋나는 선택을 하는 경우가 많다. 따라서 단순히 과거 행동을 복제하는 모델은 나쁜 투자 습관까지 학습하게 되는 한계가 있다.

Conv-FinRe는 사용자의 겉으로 드러난 선택 이면의 잠재적 효용 함수를 찾아내는 데 집중한다. 이를 위해 역최적화(Inverse Optimization) 기법을 사용하여 사용자의 투자 이력으로부터 위험에 대한 민감도를 수치화한다. 이렇게 도출된 개인별 효용 함수는 모델이 추천한 종목이 사용자의 실제 성향에 비추어 얼마나 합리적인지 판단하는 절대적인 기준이 된다.

이 벤치마크는 모델이 단순히 시장의 상승세(Momentum)를 쫓는지, 아니면 사용자의 위험 허용 범위를 고려한 안전한(Safe) 추천을 하는지 다각도로 분석한다. 이를 통해 AI 조언자가 사용자의 변덕스러운 행동을 무조건 따르는 공감형인지, 아니면 객관적인 지표에 근거해 최적의 대안을 제시하는 합리형인지 구분할 수 있다.

전체 프로세스는 데이터 수집, 사용자 프로파일링, 대화 시뮬레이션, 다중 관점 평가의 4단계로 구성된다. S&P 500 기업 중 변동성 수준에 따라 10개의 대표 종목을 선정하고, 30일간의 실제 시장 데이터를 기반으로 시뮬레이션 환경을 구축했다.

사용자 선호도 모델링에는 역최적화 기법을 적용했다. 사용자의 효용 함수는 기대 수익률에서 변동성과 최대 낙폭(Drawdown)에 따른 페널티를 뺀 값으로 정의된다. [사용자의 과거 선택 이력과 시장 상황을 입력으로] → [정규화된 음의 로그 우도(Regularized Negative Log-Likelihood)를 최소화하는 연산을 수행해] → [사용자별 위험 민감도 파라미터인 람다와 감마를 얻고] → [이 값이 사용자의 고유한 투자 성향을 대표하게 된다].

대화 시뮬레이션은 온보딩 인터뷰와 시계열 자문 대화로 나뉜다. 온보딩 단계에서는 사용자의 재무 배경과 목표를 파악하고, 자문 단계에서는 3명의 가상 전문가(합리적 효용, 모멘텀, 위험 민감 전문가)가 제시하는 서로 다른 의견을 모델이 통합하여 최종 순위를 생성하도록 설계했다.

실험 결과, Llama-3.3-70B-Instruct 모델이 합리적 효용 기반 순위(uNDCG)에서 0.97로 가장 높은 점수를 기록했다. 이는 범용 LLM이 장기적인 위험과 수익의 균형을 맞추는 이상적인 추천을 생성하는 데 탁월함을 보여준다.

반면, 사용자 행동 모방 성능(MRR, Hit Rate)에서는 금융 특화 모델인 Llama3-XuanYuan3-70B-Chat과 Qwen2.5-72B-Instruct가 우세했다. 이 모델들은 사용자의 노이즈 섞인 선택을 더 잘 예측했는데, 이는 합리적 판단보다는 사용자의 현재 행동에 맞추는 공감적 정렬에 치중되어 있음을 시사한다.

대화 이력이 쌓임에 따라 GPT-5.2와 DeepSeek-V3.2 같은 모델은 사용자의 잠재적 선호도를 성공적으로 추출하여 성능이 향상되는 적응형 조언자(Adaptive Advisors)의 특성을 보였다. 그러나 일부 모델은 대화가 길어질수록 오히려 사용자 노이즈에 과적합되어 성능이 하락하는 양상을 보이기도 했다.

Conv-FinRe는 금융 추천을 다중 관점 정렬 문제(Multi-view Alignment Problem)로 정의한다. 평가 지표로 uNDCG(Utility-based NDCG), MRR, Hit Rate 외에도 전문가 정렬 점수(EAS)를 사용하여 모델의 의사결정 논리를 해부한다.

사용자 효용 함수는 기대 수익률에서 위험 페널티를 차감하는 공식을 따른다. 여기서 위험 페널티는 역최적화를 통해 추정된 개인별 가중치와 자산의 변동성 및 최대 낙폭의 곱으로 계산된다. 이는 단순한 수익률 극대화가 아닌 위험 조정 수익률 관점에서 모델을 평가하게 한다.

모델 평가는 LM Evaluation Harness를 사용하여 표준화된 인터페이스에서 수행되었다. 입력 컨텍스트 길이는 최대 8,192 토큰으로 제한되었으며, 대화의 품질은 금융 전문가 3인이 역할 일관성, 언어적 자연스러움 등 4개 차원에서 검증하여 평균 8.1점의 높은 신뢰도를 확보했다.

10명의 사용자라는 소규모 샘플을 대상으로 하여 일반화에 한계가 있을 수 있으며, 30일이라는 비교적 짧은 투자 지평 내에서의 의사결정만을 다루고 있다.