텍스트 분할기
문서나 마크다운을 LLM의 컨텍스트 윈도우에 맞춰 일정 길이의 청크로 나누는 도구로서 입력 토큰 수와 문맥 일관성에 직접 영향을 미친다. 입력 텍스트를 문장 경계나 토큰 수 기준으로 분할하고 각 청크를 임베딩·검색용으로 저장하는 과정이 핵심이다. 분할 방식에 따라 임베딩 품질과 검색 정확도가 달라져 RAG 파이프라인 성능에 결정적이다.
