PreScam: 초기 대화로부터 사기 진행을 예측하기 위한 벤치마크

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

TL;DR

대화형 사기는 다-turn로 진행되며, 심리적 기술의 시퀀스적 조작을 수반한다. PRESCAM은 실제 보고서를 구조화해 진행을 단계별로 추적하고, 부분 맥락에서의 위험도와 다음 사기꾼의 행동을 예측하는 평가 지표를 제공한다. 현재 모델은 표면적인 단서 인식에 그치고, 위험의 점진적 상승과 조작의 전개를 정확히 이해하는 데 한계가 있다.

왜 중요한가

대화형 사기는 다-turn로 진행되며, 심리적 기술의 시퀀스적 조작을 수반한다. PRESCAM은 실제 보고서를 구조화해 진행을 단계별로 추적하고, 부분 맥락에서의 위험도와 다음 사기꾼의 행동을 예측하는 평가 지표를 제공한다. 현재 모델은 표면적인 단서 인식에 그치고, 위험의 점진적 상승과 조작의 전개를 정확히 이해하는 데 한계가 있다.

핵심 기여

대규모 현실 데이터 기반의 벤치마크 PRESCAM 구축

BBB Scam Tracker에서 수집한 177,989개의 원시 보고서를 필터링해 11,573개의 구조화된 다-turn scam conversations를 구성하고 20개 사기 카테고리로 확장했다.

Scam Kill Chain 및 PT Actions 도입

Initial Contact, Engagement, Termination의 3단계와 PT Actions를 통해 대화의 진행을 구조화하고 심리적 기술을 기반으로 한 행동 시퀀스를 정의했다.

실험적 평가를 위한 이중 태스크 벤치마크 제시

Real-time Termination Prediction과 Scammer Action Prediction 두 가지 태스크를 정의하고, supervised encoders와 zero-shot LLM 간의 성능 차이를 분석했다.

실무 활용

PRESCAM은 실세계 대화형 사기 분석에서 위험 추적과 예측을 위한 표준 벤치마크를 제공하며, 시스템이 개입 시점을 조기에 포착하고 다음 사기꾼의 행동을 예측하는 데 기여한다. 다만 현재 모델은 진행 구조를 완전히 재현하지 못한다.

실시간 대화 모니터링에서 위험도 추정 및 경고
사기 전개 예측 기반의 인터벤션 시나리오 설계
벤치마크를 통한 새로운 모델의 진행 기반 평가

코드 공개 여부: 비공개

키워드

대화형 사기사기 진행 모델링심리 기법피해자 반응실시간 종료 예측사기꾼 행동 예측