HTML 잡음
네비게이션 바, 푸터, 쿠키 배너, 스크립트 태그 등 문서 본문과 무관한 HTML 요소로서 토큰 낭비와 임베딩 왜곡을 초래한다. 이러한 요소는 텍스트 전처리 단계에서 제거되지 않으면 TextSplitter와 임베딩 생성 과정에서 불필요한 컨텍스트로 작용한다. 잡음 제거는 임베딩 품질을 높이고 RAG 시스템의 환각률을 낮추기 위해 필수적이다.
