readability-html-to-text

Readability는 웹페이지에서 주 콘텐츠를 식별해 핵심 본문을 추출하는 라이브러리이고, html-to-text는 대용량 HTML을 단순 텍스트로 변환해 토큰 비용을 줄이는 전처리 도구다. 본 파이프라인은 1MB 이상인 대형 HTML은 html-to-text로 단순화하고, 소형 문서는 Readability로 본문과 대표 이미지를 추출해 LLM 입력 토큰을 절감한다. 이 단계는 안정적이고 일관된 AI 출력물을 얻기 위한 전제 조건으로 설계되었다.