문서 레이아웃 메타데이터 제거로 컨텍스트 토큰 낭비 절감한 사례와 MarkItDown 활용법

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

TL;DR

작성자는 대규모 레퍼런스 문서를 LLM 컨텍스트에 넣기 전 토큰 사용량을 점검한 결과 PDF·docx·Excel 등의 레이아웃 마커와 메타데이터가 페이지당 약 3,000토큰을 유발해 20페이지 문서가 70,000+ 토큰을 차지한다고 보고했고, Microsoft의 MarkItDown으로 프레젠테이션 메타데이터를 제거해 구조화된 Markdown을 반환하면 토큰 소비를 줄이면서 의미적 구조를 보존할 수 있다고 관찰했다. 작성자는 Markdown이 많은 프런티어 모델의 학습 분포와 정렬되어 있어 검색 정확도가 향상되고 MarkItDown의 MCP 지원이 파이프라인 자동화를 용이하게 한다고 기술했다. NotebookLM은 인터랙티브한 연구 목적에 유리하지만 프로덕션 파이프라인의 로컬 제어와 반복 처리에는 MarkItDown 방식이 더 적합하다는 비교가 제시되었다. 이 접근은 RAG 기반 워크플로에서 토큰 비용과 응답 품질을 동시에 개선할 수 있는 실무적 대안으로 제시되었다.

실용적 조언

대량 문서를 모델 컨텍스트로 투입하기 전에 각 문서의 토큰 수를 측정해 병목 지점을 파악하는 것이 첫 단계이다. 측정 과정에서 PDF·docx·Excel의 숨겨진 마커나 XML 구조로 인해 토큰이 급증하는 사례가 있는지 확인해야 하며, 필요하면 MarkItDown과 같은 전처리 도구로 프레젠테이션 메타데이터를 제거해 Markdown으로 정리할 것을 권장한다. 전처리 결과를 MCP로 노출하면 모델 데스크톱이나 서비스와의 연동이 수월해져 파이프라인 자동화와 재현성이 확보된다.

섹션별 상세

원문 작성자는 대량의 참조 문서를 LLM에 넣기 전 토큰 카운트를 감사한 결과 페이지당 약 3,000토큰이 소모되는 현상을 발견했고, 20페이지 분량의 문서가 컨텍스트에 들어가기만 해도 70,000토큰 이상이 소비된다고 보고했다. 이러한 관찰은 PDF의 숨겨진 레이아웃 마커, docx의 XML 구조, 메타데이터 태그가 토크나이제이션 단계에서 많은 토큰을 생성했기 때문이며 이로 인해 컨텍스트 창이 빠르게 포화되었다. 결과적으로 API 비용 상승과 지연 증가뿐만 아니라 attention 메커니즘이 형식 노이즈로 분산되어 응답 정확도가 저하될 위험까지 확인되었다.

문제의 기술적 완화책으로 작성자는 Microsoft의 오픈소스 도구 MarkItDown을 사용해 파일 바이너리에서 프레젠테이션 메타데이터를 제거하고 Markdown을 반환하는 파이프라인을 구축했다고 보고했다. 처리 흐름은 입력 파일을 MarkItDown으로 전달해 불필요한 레이아웃 태그를 제거한 뒤 구조화된 Markdown(헤더, 중첩 표, 리스트 등)을 생성하고 이를 LLM의 컨텍스트로 주입하는 방식이며, 이 과정에서 토큰 수가 크게 줄고 의미적 구조는 보존되었다고 했다. 또한 MarkItDown이 MCP를 지원해 markitdown-mcp 같은 도구 서버로 직접 연동하면 파이프라인 자동화와 모델 데스크톱 연동이 용이해진다고 기술했다.

작성자는 Markdown 형식으로 전처리된 텍스트가 프런티어 LLM에서 더 높은 검색 정확도를 보였다고 보고했고 그 이유로 많은 모델이 Markdown 블록을 학습 데이터에서 광범위하게 접했기 때문에 구조화된 입력이 의미 단위 정렬을 돕는다고 설명했다. 입력이 Markdown으로 정리되면 표·헤더·리스트 같은 문서 구조가 보존되어 RAG나 컨텍스트 검색 시 관련 문단을 더 정확히 매칭할 수 있으며, 그 결과 토큰 소비 대비 검색 정확도가 상승한다고 결론지었다. 이 관찰은 단순한 토큰 절감 이상의 품질 개선 효과를 의미하는 실무적 근거로 제시되었다.

Google의 NotebookLM과의 비교에서 작성자는 NotebookLM이 연구용 작업공간으로서 편리하지만, 프로덕션 수준의 자동화 파이프라인 관점에서는 로컬 제어와 스크립트화가 가능한 MarkItDown이 더 적합하다고 평가했다. NotebookLM은 인터랙티브하고 손쉬운 탐색을 제공하는 반면 MarkItDown은 파일 포맷 전처리와 MCP 기반 연동으로 CI/CD나 서버 측 파이프라인에 직접 포함될 수 있다는 점에서 차별화된다. 따라서 엔지니어링 파이프라인에서 반복적이고 대량의 문서 처리를 해야 하는 경우에는 프로그램적 통제가 가능한 전처리 도구를 선호할 근거가 제시되었다.

용어 해설

검색 증강 생성(RAG): — 검색 증강 생성은 외부 문서에서 관련 컨텍스트를 검색해 모델의 입력으로 결합하여 응답 품질을 높이는 방식이다. 문서에서 의미 있는 청크를 추출하고 임베딩 기반 유사도 검색을 통해 관련 텍스트만 제공함으로써 긴 문서 전체를 통째로 넣는 것보다 토큰 효율을 개선한다. 이 게시물 맥락에서는 upstream에서 불필요한 레이아웃 메타데이터를 제거하는 처리가 RAG의 컨텍스트 품질과 비용에 직접 영향을 준다.
모델 컨텍스트 프로토콜(Model Context Protocol): — Model Context Protocol은 도구가 모델에 구조화된 컨텍스트를 표준화된 방식으로 제공하도록 정의하는 인터페이스 규격이다. 도구 서버가 문서 전처리 결과를 MCP로 노출하면 데스크톱 혹은 서비스형 모델이 해당 출력을 네이티브 컨텍스트로 바로 소비할 수 있다. 본문에서는 MarkItDown의 MCP 지원이 전처리 파이프라인의 자동화와 통합을 용이하게 한 핵심 기능으로 언급되었다.
토크나이제이션(Tokenization): — 토크나이제이션은 입력 텍스트를 모델이 처리할 수 있는 단위인 토큰으로 분할하는 과정이다. 문서에 포함된 PDF 레이아웃 마커나 XML 태그는 토큰 수를 크게 늘리고 컨텍스트 창을 차지하므로 전처리 단계에서 제거하면 토큰 비용과 주의(attention) 분산을 줄일 수 있다. 게시물에서는 페이지당 약 3,000토큰이라는 관찰이 토크나이제이션 결과의 비효율을 직접적으로 가리켰다.

언급된 도구

MarkItDown추천

PDF·Word·Excel·YouTube 전사 등에서 프레젠테이션 메타데이터를 제거하고 구조화된 Markdown을 출력해 LLM 컨텍스트에 적합한 텍스트로 변환하는 전처리 도구

NotebookLM중립

대화형 연구 작업공간으로 문서 탐색과 요약을 편리하게 수행하는 도구

Claude중립

프런티어 LLM 중 하나로 작성자는 Markdown 입력을 잘 처리한다고 언급했다