모든 이미지에서 구조화된 JSON 데이터 추출하기

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

핵심 요약

전통적인 컴퓨터 비전이 객체 검출에 집중했다면, 현대 비즈니스는 이미지 내 정보를 이해하고 구조화된 데이터로 변환하는 능력을 필요로 한다. 이 아티클은 Roboflow Workflows와 GPT-5.2와 같은 VLM을 활용하여 영수증 이미지에서 상점명, 날짜, 금액 등을 추출하는 튜토리얼을 제공한다. 입력 이미지 표준화부터 프롬프트 엔지니어링, JSON 파싱, Slack 알림 전송까지의 전 과정을 단계별로 안내한다. 이를 통해 수동 데이터 입력 비용을 절감하고 비즈니스 프로세스의 효율성을 극대화할 수 있는 실질적인 방안을 제시한다.

배경

Roboflow 계정 및 Workflows 기본 지식, JSON 데이터 구조에 대한 이해, OpenAI API 또는 유사한 VLM 서비스 이용 권한

대상 독자

비즈니스 프로세스 자동화 및 LLM/VLM을 프로덕션에 도입하려는 개발자

의미 / 영향

이 기술은 단순한 이미지 인식을 넘어 비정형 문서 데이터를 정형 데이터로 변환하는 핵심 인프라가 될 것이다. 특히 금융, 물류, 제조 분야에서 수동 데이터 입력 업무를 획기적으로 줄여 운영 효율성을 높이는 데 기여할 것으로 보인다.

섹션별 상세

비즈니스 가치 측면에서 수동 비용 정산 프로세스를 자동화하면 처리 시간을 60% 단축하고 운영 비용을 35% 절감할 수 있다.

Roboflow Workflows를 사용하여 이미지 입력, VLM 처리, JSON 파싱, 결과 전송의 4단계 파이프라인을 구축하여 영수증 처리를 자동화한다.

json

{
  "output_schema": "{\"type\":\"object\",\"properties\":{\"merchant\":{\"type\":\"string\"},\"date\":{\"type\":\"string\"},\"subtotal\":{\"type\":\"number\"},\"tax\":{\"type\":\"number\"},\"total\":{\"type\":\"number\"},\"currency\":{\"type\":\"string\"},\"payment_method\":{\"type\":\"string\"},\"category\":{\"type\":\"string\"},\"line_items\":{\"type\":\"array\"}},\"required\":[\"merchant\",\"date\",\"total\",\"currency\",\"payment_method\",\"category\",\"line_items\"]}",
  "instructions": "You are an invoice data extraction specialist. Extract data from this invoice image and return it as a JSON object..."
}

VLM이 추출해야 할 데이터 구조와 지침을 정의하는 JSON 스키마 예시

전체 비용 정산 자동화 워크플로우 다이어그램 — Diagram이미지 입력부터 JPEG 변환, OpenAI 모델 처리, JSON 파싱, Slack 알림 및 최종 출력까지의 전체 파이프라인 구조를 시각적으로 보여준다. 각 블록 간의 데이터 흐름을 이해하는 데 핵심적인 역할을 한다.

Property Definition 블록을 통해 입력 이미지를 JPEG 포맷으로 표준화함으로써 하위 시스템 및 Slack 첨부 파일과의 호환성을 확보한다.

Property Definition 블록 설정 화면 — Screenshot입력 이미지를 JPEG로 변환하고 압축 수준을 설정하는 단계를 보여준다. 데이터 표준화가 워크플로우의 첫 단계임을 강조한다.

GPT-5.2 모델에 Structured Output Generation 태스크를 부여하고 엄격한 JSON 스키마와 프롬프트를 적용하여 정확한 필드 데이터를 추출한다.

json

"message_parameters": {
  "merchant": "$steps.json_parser.merchant",
  "date": "$steps.json_parser.date",
  "subtotal": "$steps.json_parser.subtotal",
  "tax": "$steps.json_parser.tax",
  "total": "$steps.json_parser.total",
  "currency": "$steps.json_parser.currency",
  "payment_method": "$steps.json_parser.payment_method",
  "category": "$steps.json_parser.category",
  "line_items": "$steps.json_parser.line_items"
}

파싱된 JSON 데이터를 Slack 메시지 파라미터로 매핑하는 설정

JSON Parser 블록은 모델의 원시 출력을 개별 워크플로우 파라미터로 변환하여 후속 단계에서 데이터 참조 오류를 방지한다.

JSON Parser 블록의 필드 설정 화면 — ScreenshotVLM의 출력에서 추출할 예상 필드(merchant, date, subtotal 등)를 정의하는 과정을 보여준다. 텍스트 데이터를 구조화된 변수로 바꾸는 핵심 설정을 확인할 수 있다.

추출된 데이터는 Slack Notification 블록을 통해 실시간으로 전송되며 원본 이미지를 함께 첨부하여 사람이 직접 검증할 수 있는 레이어를 제공한다.

Slack 첨부 파일 설정을 위한 추가 속성 편집기 — Screenshot추출된 데이터와 함께 원본 이미지를 Slack에 첨부하기 위한 JSON 설정을 보여준다. 인간의 검증을 위한 데이터 매핑 방식을 설명한다.

프로덕션 환경의 신뢰성을 위해 프롬프트 버전 관리, 이미지 품질 체크, 모니터링 대시보드 구축 등 실전적인 운영 전략이 수반되어야 한다.

실무 Takeaway

VLM의 Structured Output 기능을 활용하면 복잡한 영수증 레이아웃에서도 정교한 JSON 데이터를 추출할 수 있다.
JSON Parser 블록을 파이프라인 중간에 배치하여 모델 출력을 개별 변수로 분리해야 후속 자동화 단계에서 안정적으로 데이터를 활용할 수 있다.
이미지 회전이나 밝기 조절과 같은 전처리 단계를 추가하여 실제 환경의 저품질 이미지에 대한 추출 성공률을 높여야 한다.

언급된 리소스

튜토리얼Roboflow Slack Notification Guide