Scrapedown: LLM을 위한 DOM 주석 기반 Markdown 변환 도구

실용적 조언

반복적인 웹 크롤링 작업 시 Scrapedown을 사용해 초기 스크레이퍼 코드만 LLM으로 생성하고, 이후에는 로컬 환경에서 코드만 실행하여 비용을 아끼는 것이 효율적이다.

섹션별 상세

HTML-to-Markdown 변환 시 발생하는 정보 손실 문제는 심각하다. 일반적인 변환기는 가독성은 높지만 DOM 구조를 삭제하므로 LLM이 데이터의 정확한 위치를 파악하기 어렵게 만든다. 이로 인해 매번 LLM이 전체 텍스트를 읽고 데이터를 추출해야 하는 비효율이 발생한다.

Scrapedown은 변환 과정에서 각 텍스트 요소에 대응하는 CSS 셀렉터와 XPath를 주석으로 삽입한다. 입력된 HTML을 파싱하여 구조 정보를 유지한 채 Markdown으로 출력하는 방식이다. 이를 통해 LLM은 텍스트의 의미와 기술적 위치를 동시에 파악한다.

LLM은 주석이 포함된 Markdown을 입력받아 데이터 추출 로직 대신 재사용 가능한 스크레이핑 코드를 작성한다. 한 번의 코드 생성으로 이후 수천 개의 페이지를 LLM 없이 처리할 수 있어 경제적이다. 결과적으로 LLM은 런타임 추출기가 아닌 코드 생성기로 기능한다.

긴 문서나 대량의 반복 페이지에서 토큰 소모를 극적으로 줄이는 효과가 있다. 스크레이퍼 실행 시 LLM을 루프에서 제외함으로써 처리 속도와 비용 효율성을 동시에 확보한다. 이는 프로덕션 환경에서 AI 기반 스크레이핑의 확장성을 크게 개선한다.

용어 해설

문서 객체 모델(DOM): — 웹 페이지의 구조화된 표현 방식으로 HTML 문서의 각 요소를 객체로 트리 구조화한 모델이다. LLM이 웹 페이지의 계층 구조를 파악하고 특정 데이터의 위치를 식별하는 데 필수적인 정보다.
XPath: — XML 문서의 특정 부분에 접근하기 위한 경로 언어이다. HTML 내에서 복잡한 요소의 위치를 정확하게 지정할 수 있어 안정적인 웹 스크레이퍼를 구축하는 데 중요하게 사용되며, LLM이 생성한 코드가 정확한 데이터를 가리키도록 돕는다.
CSS 셀렉터(CSS Selector): — HTML 요소를 선택하기 위해 사용하는 패턴이다. 웹 개발에서 스타일을 적용할 때 쓰이지만, Scrapedown에서는 LLM이 데이터 추출을 위한 코드 생성 시 참조하는 식별자로 활용되어 자동화된 스크레이핑의 정확도를 높인다.
토큰 비용(Token Cost): — LLM API 사용 시 처리되는 텍스트 단위인 토큰에 대해 지불하는 비용이다. 매번 전체 HTML을 LLM에 보내는 대신 코드를 생성하여 실행하면 이 비용을 획기적으로 줄일 수 있어 대규모 데이터 수집 프로젝트에서 경제성을 확보해준다.

언급된 도구

Scrapedown추천

HTML을 DOM 주석이 포함된 Markdown으로 변환하여 스크레이퍼 코드 생성을 지원함