HTML Parser

HTML 파서는 웹 문서를 태그와 속성으로 분해해 프로그램이 다룰 수 있는 구조로 바꾸는 도구입니다. BeautifulSoup은 이를 이용해 script, style, nav, footer 같은 태그를 찾아 삭제하고 class와 id에 포함된 잡음 단어도 검사합니다. 결과적으로 LLM에 전달할 본문 중심의 HTML이 남습니다.