의료 영수증 OCR: Roboflow Workflows와 Gemini를 활용한 개인 의료비 추적기 구축

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

핵심 요약

다양한 형식의 의료 영수증에서 정보를 추출하여 체계적으로 관리하기 위한 자동화 시스템 구축 방법을 설명한다. Roboflow Workflows를 오케스트레이션 도구로 사용하고 Google Gemini를 시각 언어 모델(VLM)로 활용하여 복잡한 문서 구조를 이해하고 JSON 데이터를 생성한다. 추출된 데이터는 커스텀 Python 블록을 통해 정제 및 메타데이터가 추가된 후, 로컬 Python 스크립트를 통해 엑셀 파일의 요약 및 세부 항목 시트에 자동으로 저장된다. 이 시스템은 단순 텍스트 인식을 넘어 진료 유형이나 서비스 카테고리를 추론할 수 있어 실질적인 가계부 및 세금 증빙 자료 관리에 유용하다.

배경

Roboflow 계정, Google Gemini API 키, Python 3.8 이상, inference-sdk, openpyxl 라이브러리

대상 독자

개인 건강 데이터를 자동화하여 관리하고 싶은 개발자 또는 OCR 파이프라인 구축이 필요한 AI 엔지니어

의미 / 영향

이 튜토리얼은 고가의 전용 OCR 솔루션 없이도 범용 VLM과 워크플로 도구만으로 복잡한 문서 처리 시스템을 구축할 수 있음을 보여줍니다. 특히 비정형 문서에서 구조화된 데이터를 추출하는 비용과 복잡성을 획기적으로 낮추어 개인용 도구부터 기업용 문서 자동화까지 폭넓게 응용될 수 있습니다.

섹션별 상세

전통적인 OCR과 달리 시각 언어 모델(VLM)은 문서의 맥락과 의미를 함께 파악한다. Gemini 모델은 영수증 내의 특정 텍스트가 단순한 숫자인지 아니면 검사 비용인지 구분하며, 문서 헤더를 통해 진료 과목을 추론하는 능력을 갖췄다. 이를 통해 정형화되지 않은 다양한 병원 및 약국의 영수증 포맷에 유연하게 대응할 수 있다. 결과적으로 복잡한 레이아웃 분석 없이도 정확한 데이터 구조화가 가능해진다.

Roboflow Workflows는 이미지 입력부터 모델 추론, 후처리에 이르는 전체 파이프라인을 시각적으로 설계한다. Gemini 블록을 워크플로에 추가하고 특정 프롬프트를 설정하여 의료 기관 정보, 환자 상세, 진료 항목 등을 JSON 객체로 반환하도록 구성한다. gemini-2.5-flash 모델을 사용하여 문서 OCR 작업에서 속도와 정확도의 균형을 맞춘다. 이 방식은 별도의 모델 학습 없이도 즉시 프로덕션 수준의 파이프라인을 구축하게 해준다.

의료 영수증 OCR 시스템의 전체 파이프라인 다이어그램 — Diagram이미지 입력부터 Gemini를 통한 데이터 추출, Python 코드를 이용한 정제, 그리고 최종적으로 엑셀 파일로 저장되는 전체 워크플로 단계를 시각화하여 보여줍니다. 시스템의 아키텍처를 한눈에 파악하는 데 핵심적인 역할을 합니다.

프롬프트 엔지니어링을 통해 모델이 수치를 임의로 생성하지 않도록 제어하는 것이 핵심이다. 숫자 데이터가 없을 경우 추측 대신 null을 반환하도록 명시하고, 화폐 기호를 제거한 순수 숫자만 추출하도록 규칙을 설정한다. 'can infer' 주석을 활용하여 진료 유형이나 카테고리 같은 분류 정보는 모델의 추론 능력을 활용하도록 유도한다. 이러한 설계는 금융 데이터의 무결성을 유지하면서도 데이터의 풍부함을 더하는 역할을 한다.

커스텀 Python 블록은 모델의 출력을 정제하고 고유 식별자와 타임스탬프 같은 메타데이터를 보충한다. Gemini가 반환한 텍스트에서 마크다운 코드 펜스를 제거하고 JSON으로 파싱한 뒤, 각 기록에 UUID 기반의 record_id를 부여한다. 또한 필수 필드 누락 여부를 확인하여 데이터의 완성도 상태를 'complete' 또는 'incomplete'로 분류한다. 이는 나중에 엑셀에서 요약 정보와 세부 항목을 연결하는 관계형 데이터 구조의 기반이 된다.

로컬 배포 스크립트는 워크플로 API를 호출하고 결과를 엑셀 파일로 영구 저장한다. openpyxl 라이브러리를 사용하여 Summary 시트에는 영수증별 요약을, LineItems 시트에는 개별 처방 및 검사 내역을 기록한다. 사용자는 단 한 번의 스크립트 실행으로 종이 영수증을 디지털 데이터베이스로 변환할 수 있다. 축적된 데이터는 연간 의료비 합산, 보험 혜택 분석, 세금 공제 증빙 등 다양한 용도로 활용 가능하다.

Python 스크립트 실행 결과와 생성된 엑셀 파일의 데이터 구조 — Screenshot터미널에 출력된 추출 데이터와 실제 엑셀 시트(Summary, LineItems)에 저장된 데이터의 모습을 비교하여 보여줍니다. record_id를 통해 두 시트가 어떻게 연결되는지 실제 사례를 통해 증명합니다.

실무 Takeaway

VLM 기반 OCR을 설계할 때 수치 데이터에는 'null over guessing' 원칙을 적용하여 재무 데이터의 허위 생성을 방지해야 한다.
Roboflow의 Custom Python Block을 활용해 모델 출력값에 UUID와 타임스탬프를 결합하면 엑셀 등 외부 저장소에서 관계형 데이터 구조를 쉽게 유지할 수 있다.
Gemini의 다국어 지원 능력을 활용하면 번역 과정 없이도 다양한 언어로 된 영수증에서 핵심 필드를 로마자나 표준 형식으로 추출할 수 있다.

언급된 리소스

문서Roboflow Workflows

API DocsGoogle AI Studio (Gemini API)