html-preprocessing

HTML 전처리는 원시 HTML을 본문 중심의 텍스트로 정리해 LLM에 전송할 토큰 수를 줄이는 단계다. 큰 파일은 html-to-text로 단순화하고 중간 크기는 Readability로 주요 내용을 추출해 일관된 입력을 만든다. 이 과정은 토큰 한계와 응답 일관성을 관리하는 핵심 전제 조건이다.