본문으로 건너뛰기

refusal-detection

거부 탐지

거부 탐지는 모델이 요청을 수행하지 않거나 수행을 거부했는지를 판별하는 자동화된 검사 방식으로, 보통 출력 내용, 키워드, 빈 출력 등을 기준으로 분류기를 구성한다. 단순 문자열 매칭이나 빈 출력 체크는 내부추론·캐릭터 발화와 혼동해 높은 오탐을 유발하므로 신뢰성 있는 거부 판정을 위해서는 과제거부 여부를 직접 판별하는 검증 로직이 필요하다. 본문은 문자열 'i can't' 매칭으로 발생한 오탐과 이를 수정한 과정을 사례로 제시했다.