다중 턴 대화에서 숨겨진 악성 의도 탐지와 차단: TurnGate

다중 턴 대화에서 악성 의도가 누적되어 실행 가능한 피해로 확산될 수 있다. 기존 시스템은 주로 단일 턴의 의도 탐지에 의존하는 반면, TurnGate는 각 턴별 신호를 분석해 최초의 해로운 지점을 식별하고 차단한다. MTID 데이터셋과 실험을 통해 TurnGate의 강건성이 다양한 도메인·공격 경로·대상 모델에서도 유지됨을 보인다.

출발점: 악성 의도는 단일 프롬프트가 아니라 다중 턴의 상호작용 누적에 의해 드러난다. 기존 접근은 주로 단일 턴의 탐지에 의존하고, 누적 맥락에서의 위험을 포착하기 어렵다. 해결 원리: TurnGate는 각 턴에서 위험 점수를 산출하고, 사전 정의된 임계치를 넘으면 차단 조치를 취하도록 설계된 turn-level 모니터이다. 이 과정에서 초기 순간에 차단해야 하는지 판단하고, benign한 탐색 대화에 대한 과다한 거부를 피하기 위해 가드레일과의 협력으로 동작한다. 달라지는 점: 다중 턴 분석으로 탐지 정확도를 높이고 over-refusal를 낮추며, 도메인/공격 경로/타깃 모델에 대한 일반화가 가능하다.

전체 접근 방식: turn-level 모니터링과 가드레일의 조합으로 해로운 의도 차단을 구현한다. 핵심 메커니즘은 각 턴마다 위험 점수를 계산하고, 임계치를 넘으면 차단을 실행하는 정책이다. 데이터 구성: MTID는 악의 의도의 턴 시퀀스, benign 네거티브, 최초 악용 턴 주석으로 구성된다. 학습/평가: 해로운 의도 탐지 성능과 over-refusal를 동시에 평가하는 벤치마크 세트에서 Baseline 대비 성능 차이를 확인한다. 구현 세부: turn-level 판단은 GPT 계열 모델 또는 비슷한 파이프라인에서 실행되며, 가드레일은 차단 여부를 결정하는 이산 선택 변수로 작동한다. 실험 설정은 도메인, 공격 파이프라인, 대상 모델 간 일반화를 확인하는 방향으로 수행되었다.

주요 벤치마크에서 TurnGate가 기존 베이스라인보다 악성 의도 탐지에서 우수한 성능을 보이고, over-refusal 비율은 낮다. 다양한 도메인과 공격 파이프라인, 대상 모델에 대해 일반화 특성을 확인했다. ablation 연구를 통해 초기 턴에서의 차단이 전체 성능에 기여하는 바가 큰 것으로 나타났다.

MTID 구성과 turn-level 판단 모델의 학습/추론 흐름, 해로운 지점을 최초의 턴에서 포착하기 위한 정책 설계, 베이스라인 대비 성능 향상의 원천 분석, 도메인 전이 및 공격 파이프라인의 영향에 대한 정량적 분석.

MTID의 커버리지 및 데이터 편향 가능성, 다양한 실세계 환경에서의 거부율-정확도 균형의 한계, 새로운 공격 패턴에 대한 적응 필요성.