token-overlap
토큰 오버랩
두 텍스트 조각의 토큰 단위 교집합을 계산하여 표기 차이로 직접적인 부분 문자열 매칭이 실패할 때 근거 일치를 판정하는 보완 기법이다. 입력 텍스트와 후보 근거를 토크나이즈한 뒤 공통 토큰 비율을 임계값 기준으로 비교하여 일치 가능성을 판단한다. 이 방법은 문장부호나 소소한 어형 변화로 인한 불일치를 완화하지만 의미적 일치를 보장하지는 않는다.
중급
토큰 오버랩
두 텍스트 조각의 토큰 단위 교집합을 계산하여 표기 차이로 직접적인 부분 문자열 매칭이 실패할 때 근거 일치를 판정하는 보완 기법이다. 입력 텍스트와 후보 근거를 토크나이즈한 뒤 공통 토큰 비율을 임계값 기준으로 비교하여 일치 가능성을 판단한다. 이 방법은 문장부호나 소소한 어형 변화로 인한 불일치를 완화하지만 의미적 일치를 보장하지는 않는다.
