브라질 공공 조달 에이전트 구축: 실시간 PDF 처리 병목 해결 사례

섹션별 상세

에이전트가 실시간으로 저품질 PDF를 읽을 때 발생하는 런타임 크래시 문제를 해결하기 위해 비동기 처리 계층을 도입했다.

기존 Playwright 기반의 실시간 스크래핑 대신, 별도의 비동기 스크래퍼를 통해 PDF를 다운로드하고 Groq의 Llama-3-70b 모델로 구조화했다.

구조화된 데이터는 SQLite 비동기 캐시에 저장되어 50ms의 지연 시간으로 API를 통해 에이전트에 제공된다.

에이전트는 OpenAPI 3.1 스키마를 통해 데이터를 소비하며, 이를 통해 실시간 처리의 불안정성을 제거하고 성능을 최적화했다.

OpenAPI: — RESTful API를 정의하고 문서화하기 위한 표준 사양이다. 에이전트가 외부 도구의 기능을 명확히 이해하고 호출할 수 있도록 인터페이스를 규격화하는 데 사용된다.
비동기 처리(Async Processing): — 작업을 순차적으로 기다리지 않고 병렬적으로 수행하는 방식이다. 실시간 PDF 처리 시 발생하는 지연이나 크래시를 방지하기 위해 데이터 수집과 추론 과정을 분리하는 데 필수적이다.
검색 증강 생성(RAG): — 외부 데이터를 검색하여 LLM에 제공하는 기법이다. 본문에서는 저품질 PDF를 구조화하여 데이터베이스에 저장하고 에이전트가 이를 참조하게 함으로써 RAG의 성능을 개선했다.

CrewAI중립

에이전트 프레임워크

LangGraph중립

에이전트 프레임워크

Groq추천

LLM 추론 엔진

Llama-3-70b추천

LLM

SQLite추천

데이터베이스 캐시

Playwright비추천

웹 스크래핑