Amazon Bedrock Data Automation의 블루프린트 명령어 최적화로 데이터 추출 정확도 향상하기

섹션별 상세

문서 형식의 다양성과 스캔 품질 저하는 데이터 추출 정확도를 떨어뜨리는 주요 원인이다. BDA는 블루프린트를 통해 추출 필드와 자연어 명령어를 정의하여 이를 해결한다.

블루프린트 명령어 최적화는 사용자가 제공한 3~10개의 예시 문서와 정답지를 분석하여 추출 명령어를 자동 개선한다. 이 과정은 수주가 걸리던 수동 튜닝 작업을 수 분 내로 단축시킨다.

근거

최적화 과정에서 F1 점수와 일치율(Exact Match Rate)을 통해 성능을 측정한다. 사용자는 이 지표를 바탕으로 최적화된 블루프린트를 프로덕션 환경에 적용할지 결정한다.

최적화된 블루프린트는 Amazon Bedrock Knowledge Bases, Agents, Guardrails와 연동되어 전체적인 RAG 및 에이전트 워크플로의 데이터 신뢰성을 높인다.

지능형 문서 처리(IDP): — Intelligent Document Processing의 약자로, AI와 머신러닝 기술을 활용하여 비정형 문서에서 데이터를 자동으로 분류, 추출, 검증하는 기술이다. 기업의 문서 기반 업무 자동화에 핵심적인 역할을 한다.
정답지(Ground Truth): — 모델의 학습이나 평가를 위해 사용되는 검증된 정확한 데이터이다. 문서 처리 자동화에서는 모델이 추출해야 할 실제 올바른 값을 의미하며, 이를 기준으로 추출 성능을 측정한다.
F1 점수(F1 Score): — 정밀도(Precision)와 재현율(Recall)의 조화 평균으로, 모델의 분류 및 추출 성능을 평가하는 지표이다. 데이터 추출 작업에서 모델이 얼마나 정확하고 포괄적으로 정보를 찾아냈는지 판단하는 데 사용된다.

근거

최적화된 블루프린트는 aggregate exact match를 90%에서 92%로 개선했다. — Example scenario: Purchase order extraction 섹션