LLM 및 RAG 지식베이스용 AI 웹 크롤러의 Markdown 변환기

게시물에 대해 커뮤니티는 실용적 관심을 보이며 유사한 문제를 겪었다는 반응이 다수였다. 많은 사용자가 헤딩 기반 청킹과 메타데이터 보존의 필요성에 동의했으며 일부는 특정 레이아웃에서의 엣지 케이스 경험을 공유했다. 동시에 구현 복잡성과 기존 파이프라인 통합 난이도를 우려하는 의견도 존재했으며 테스트 결과의 재현 가능성을 묻는 댓글이 여러 건 달렸다.

• 원본 HTML을 Markdown으로 변환한 뒤 헤딩 단위로 청킹하면 문단·섹션의 계층 정보를 유지할 수 있으며, 토큰 제한 내에서는 섹션을 온전하게 유지하고 초과 시 문장 단위 오버랩을 적용해 문장 절단을 방지해야 한다.
• 추출 단계에서 Trafilatura로 원시 텍스트를 분리하고 Docling으로 레이아웃·테이블을 처리한 뒤 텍스트 밀도와 구조 요소로 자동 스코어링을 수행하면 서로 다른 도메인의 레이아웃 변화를 보완할 수 있다.
• 청크 메타데이터로 원본 URL, SHA-256 기반 문서 ID, 정확한 토큰 수, 헤딩 텍스트와 레벨을 포함하면 LangChain Document로의 매핑과 Parent-Child 관계 보존, Self-Querying Retriever 적용이 용이해진다.

Heading-Aware Chunking

— 문서의 Markdown 헤딩 구조(H1~H6)를 기준으로 텍스트를 분할하는 기법으로, 입력 HTML을 Markdown으로 변환한 뒤 각 헤딩 단위가 토큰 제한 내이면 온전한 단위로 유지하고 초과 시 문장 단위 오버랩 분할로 문맥을 보존하는 방식이다. 이 방법은 임의 문자 수 분할로 인한 문단 절단과 계층 정보 손실을 방지하여 RAG용 임베딩 품질을 높인다.

Trafilatura

— 웹 페이지에서 본문 텍스트를 추출하기 위한 Python 라이브러리로서 잡다한 레이아웃 요소를 제거하고 연속 텍스트를 분리하는 데 강점이 있다. 본문 추출을 전처리로 수행하면 불필요한 스크립트·네비게이션 텍스트가 줄어들어 임베딩의 잡음이 감소한다.

Docling

— 복잡한 레이아웃, 테이블, 내비게이션이 혼재한 HTML에서 구조적 콘텐츠를 보존하며 추출하는 도구로, 표나 계층적 섹션을 보존해야 하는 문서에서 유용하다. Trafilatura와 병행 사용하면 레이아웃 기반 추출과 순수 텍스트 기반 추출을 상호 보완할 수 있다.

SHA-256

— 입력 텍스트 또는 문서 URL로부터 고유한 256비트 해시를 생성하는 해시 알고리즘으로, 각 문서 청크에 불변 식별자를 부여하여 중복 검출과 데이터 무결성 검증에 활용된다. RAG 파이프라인에서 문서 ID를 일관되게 관리하는 수단으로 사용된다.