MinHash 기반 LSH
MinHash LSH는 대량 텍스트나 코드 조각의 유사도를 근사적으로 계산하는 기법으로, 문서의 해시 서명을 생성하여 유사한 항목을 같은 버킷으로 모은 뒤 근사 중복 탐지를 수행한다. 이 방식은 정확한 문자열 일치가 아닌 유사도 기반 필터링을 가능하게 하여 리포지토리의 거의 동일한 커밋이나 반복된 코드 변경을 찾아내는 데 유용하다. git2llm에서는 MinHash LSH를 활용해 근사 중복을 걸러내어 동일 또는 유사 커밋이 학습 데이터로 중복 포함되는 것을 줄였다.