AWS 생성형 AI를 활용한 지능형 문서 처리 파이프라인 구축

섹션별 상세

입력 처리 계층은 S3 버킷에 문서가 도착하면 AWS Step Functions를 통해 BDA 작업을 비동기적으로 실행하여 문서 분류와 추출을 자동화한다.

BDA는 표준 출력 또는 사용자 정의 블루프린트를 통해 텍스트, 표, 양식뿐만 아니라 차트, 그래프, 다이어그램 등 시각적 요소까지 분석하여 구조화된 데이터를 생성한다.

지능형 계층은 Amazon Bedrock Knowledge Bases와 OpenSearch Serverless를 결합하여 추출된 데이터에 대한 시맨틱 검색과 RAG를 지원한다.

에이전트 계층은 AgentCore Runtime 위에서 시장 분석가, 투자 자문, 외부 API 에이전트가 협업하여 복잡한 문서 분석과 교차 검증을 수행한다.

부동산 투자 분석 사례에서 이 파이프라인은 5만 건 이상의 문서를 처리하며 기존 3~4시간 소요되던 작업을 15~20분으로 단축했다.

근거

지능형 문서 처리(IDP): — AI와 머신러닝 기술을 활용하여 비정형 문서에서 데이터를 자동으로 추출, 분류, 분석하는 기술. 기존 OCR의 한계를 넘어 문서의 문맥과 의미를 이해하고 구조화된 데이터로 변환한다.
검색 증강 생성(RAG): — LLM이 외부 데이터 소스를 검색하여 관련 정보를 참조한 뒤 답변을 생성하는 기술. 문서 처리 파이프라인에서 추출된 데이터를 지식 베이스에 저장하고 시맨틱 검색을 수행하는 데 사용된다.
블루프린트(Blueprint): — Amazon Bedrock Data Automation에서 문서 유형별로 추출할 데이터 필드와 형식을 정의하는 구성 요소. 특정 문서 양식에 맞춰 일관된 데이터 추출을 가능하게 한다.
AWS Step Functions: — 분산 애플리케이션과 마이크로서비스의 워크플로를 시각적으로 설계하고 오케스트레이션하는 서버리스 서비스. 문서 처리 파이프라인의 단계별 실행과 예외 처리를 관리한다.

bash

git clone https://github.com/aws-samples/sample-pdf-to-insights-idp-solution

솔루션 배포를 위한 코드 저장소 복제 명령어

bash

./deploy.sh –profile default –environment UAT

배포 스크립트 실행 명령어