RAG 병목 현상 해결: Ray Data와 Docling을 활용한 확장 가능한 문서 처리

섹션별 상세

01

RAG 시스템 구축 시 모델 튜닝보다 데이터 준비 과정에서의 비효율성이 프로젝트의 주요 지연 원인이 된다. 기존 프레임워크는 CPU 집약적인 문서 파싱과 GPU 집약적인 임베딩 작업을 유기적으로 조율하지 못해 수만 개의 문서를 처리하는 데 수주가 소요되는 병목 현상이 발생한다.

RAG의 데이터 처리, 검색 및 생성 워크플로우 다이어그램 — Diagram문서가 파싱, 청킹, 임베딩을 거쳐 벡터 DB에 저장되는 과정과 사용자 쿼리에 따라 관련 청크를 추출하여 LLM 응답을 생성하는 전체 흐름을 시각화한다. 데이터 처리 흐름과 검색/생성 흐름의 상호작용을 명확히 나타낸다.

02

Ray Data는 AI 워크로드에 최적화된 분산 처리 라이브러리로, 스트리밍 실행 엔진을 통해 CPU와 GPU 작업을 파이프라이닝한다. Python 네이티브 방식으로 직렬화 오버헤드를 최소화하며, 데이터셋을 블록 단위로 분할하여 클러스터 전체에서 병렬 처리함으로써 자원 활용도를 극대화한다.

03

Docling은 PDF 내의 복잡한 표와 레이아웃을 정밀하게 파싱하여 문서의 의미론적 구조를 보존하는 역할을 수행한다. Ray Data와 통합된 구조에서 각 워커 노드는 메모리 내 전문 AI 모델을 실행하는 Docling 인스턴스를 운용하여 고성능 분산 문서 처리를 가능하게 한다.

Ray를 이용한 Docling 분산 문서 처리 아키텍처 — DiagramRay Driver가 실행 계획을 관리하고 여러 Ray Worker가 입력 스토리지에서 PDF를 읽어 병렬로 처리한 뒤 JSON 결과를 출력 스토리지에 직접 쓰는 분산 처리 구조를 나타낸다. 드라이버 병목 현상을 방지하는 병렬 쓰기 메커니즘을 포함한다.

04

KubeRay를 활용하면 Kubernetes 환경에서 Ray 클러스터를 안정적으로 오케스트레이션할 수 있다. 자동 확장(Autoscaling)과 결함 허용(Fault Tolerance) 기능을 통해 데이터 인입 규모에 따라 노드 수를 유연하게 조절하며, 데이터 거버넌스와 보안 요구사항을 충족하는 프라이빗 클라우드 환경 구축이 가능하다.

Kubernetes 기반 KubeRay 문서 처리 파이프라인 상세 흐름 — Diagram객체 스토리지의 문서가 CPU 워커 노드(Docling 파싱, 청킹)와 GPU 워커 노드(임베딩 생성)를 거쳐 Milvus와 같은 벡터 DB에 저장되는 엔드투엔드 단계를 명시한다. 이기종 컴퓨팅 자원을 활용하는 파이프라인 구성을 상세히 나타낸다.

05

미래의 AI는 단순 검색을 넘어 자율 에이전트 솔루션으로 진화하고 있으며, 이를 위해 RAG와 RAFT를 결합한 산업화된 데이터 파이프라인이 필수적이다. 정밀하게 전처리된 데이터는 에이전트가 복잡한 워크플로우를 정확하게 수행하고 사용자의 신뢰를 얻는 핵심 자산이 된다.

용어 해설

레이 데이터(Ray Data): — Ray의 분산 데이터 처리 라이브러리로, 대규모 데이터셋을 병렬로 스트리밍 처리하는 엔진이다. CPU 기반의 데이터 로딩/파싱과 GPU 기반의 모델 추론 작업을 효율적으로 연결하여 전체 파이프라인의 처리량을 극대화하는 역할을 한다.
독클링(Docling): — IBM에서 개발한 오픈소스 문서 파싱 도구로, PDF와 같은 비정형 문서에서 텍스트, 표, 레이아웃 구조를 정밀하게 추출한다. RAG 시스템에서 문서의 의미론적 무결성을 유지하며 데이터를 청킹하는 데 필수적인 기술이다.
검색 증강 미세 조정(RAFT): — Retrieval-Augmented Fine-Tuning의 약자로, 모델이 검색된 컨텍스트에서 관련 없는 정보를 무시하고 정답을 도출하도록 학습시키는 기법이다. RAG의 실시간 정보 활용 능력과 미세 조정의 도메인 특화 성능을 결합하여 에이전트의 정확도를 높인다.
쿠베레이(KubeRay): — Kubernetes 환경에서 Ray 클러스터를 관리하고 오케스트레이션하기 위한 오픈소스 툴킷이다. 자동 확장, 결함 허용, 리소스 관리 기능을 통해 엔터프라이즈 환경에서 대규모 AI 워크로드를 안정적으로 운영할 수 있게 돕는다.