TextSplitter
텍스트 분할기
문서나 마크다운을 LLM의 컨텍스트 윈도우에 맞춰 일정 길이의 청크로 나누는 도구로서 입력 토큰 수와 문맥 일관성에 직접 영향을 미친다. 입력 텍스트를 문장 경계나 토큰 수 기준으로 분할하고 각 청크를 임베딩·검색용으로 저장하는 과정이 핵심이다. 분할 방식에 따라 임베딩 품질과 검색 정확도가 달라져 RAG 파이프라인 성능에 결정적이다.
텍스트 분할기
문서나 마크다운을 LLM의 컨텍스트 윈도우에 맞춰 일정 길이의 청크로 나누는 도구로서 입력 토큰 수와 문맥 일관성에 직접 영향을 미친다. 입력 텍스트를 문장 경계나 토큰 수 기준으로 분할하고 각 청크를 임베딩·검색용으로 저장하는 과정이 핵심이다. 분할 방식에 따라 임베딩 품질과 검색 정확도가 달라져 RAG 파이프라인 성능에 결정적이다.
