중복 인지 토큰 압축
텍스트 내에서 반복되는 패턴이나 불필요한 정보를 식별하여 제거함으로써 의미를 보존한 채 데이터 크기를 줄이는 알고리즘이다. LLM의 입력 토큰 수를 줄여 API 비용을 절감하고 처리 속도를 높이는 데 기여한다.