의미적 중복 제거
텍스트의 표면적인 일치 여부가 아닌 의미적 유사성을 기준으로 중복된 정보를 식별하고 처리하는 기술이다. 임베딩 벡터 간의 유사도 점수를 계산하여 일정 임계값 이상의 정보를 하나로 병합함으로써 지식 베이스의 효율성을 높이고 데이터 노이즈를 줄인다.