모든 이미지에서 구조화된 JSON 데이터 추출하기

섹션별 상세

01

비즈니스 가치 측면에서 수동 비용 정산 프로세스를 자동화하면 처리 시간을 60% 단축하고 운영 비용을 35% 절감할 수 있다.

02

Roboflow Workflows를 사용하여 이미지 입력, VLM 처리, JSON 파싱, 결과 전송의 4단계 파이프라인을 구축하여 영수증 처리를 자동화한다.

json

{
  "output_schema": "{\"type\":\"object\",\"properties\":{\"merchant\":{\"type\":\"string\"},\"date\":{\"type\":\"string\"},\"subtotal\":{\"type\":\"number\"},\"tax\":{\"type\":\"number\"},\"total\":{\"type\":\"number\"},\"currency\":{\"type\":\"string\"},\"payment_method\":{\"type\":\"string\"},\"category\":{\"type\":\"string\"},\"line_items\":{\"type\":\"array\"}},\"required\":[\"merchant\",\"date\",\"total\",\"currency\",\"payment_method\",\"category\",\"line_items\"]}",
  "instructions": "You are an invoice data extraction specialist. Extract data from this invoice image and return it as a JSON object..."
}

VLM이 추출해야 할 데이터 구조와 지침을 정의하는 JSON 스키마 예시

전체 비용 정산 자동화 워크플로우 다이어그램 — Diagram이미지 입력부터 JPEG 변환, OpenAI 모델 처리, JSON 파싱, Slack 알림 및 최종 출력까지의 전체 파이프라인 구조를 시각적으로 보여준다. 각 블록 간의 데이터 흐름을 이해하는 데 핵심적인 역할을 한다.

03

Property Definition 블록을 통해 입력 이미지를 JPEG 포맷으로 표준화함으로써 하위 시스템 및 Slack 첨부 파일과의 호환성을 확보한다.

Property Definition 블록 설정 화면 — Screenshot입력 이미지를 JPEG로 변환하고 압축 수준을 설정하는 단계를 보여준다. 데이터 표준화가 워크플로우의 첫 단계임을 강조한다.

04

GPT-5.2 모델에 Structured Output Generation 태스크를 부여하고 엄격한 JSON 스키마와 프롬프트를 적용하여 정확한 필드 데이터를 추출한다.

json

"message_parameters": {
  "merchant": "$steps.json_parser.merchant",
  "date": "$steps.json_parser.date",
  "subtotal": "$steps.json_parser.subtotal",
  "tax": "$steps.json_parser.tax",
  "total": "$steps.json_parser.total",
  "currency": "$steps.json_parser.currency",
  "payment_method": "$steps.json_parser.payment_method",
  "category": "$steps.json_parser.category",
  "line_items": "$steps.json_parser.line_items"
}

파싱된 JSON 데이터를 Slack 메시지 파라미터로 매핑하는 설정

05

JSON Parser 블록은 모델의 원시 출력을 개별 워크플로우 파라미터로 변환하여 후속 단계에서 데이터 참조 오류를 방지한다.

JSON Parser 블록의 필드 설정 화면 — ScreenshotVLM의 출력에서 추출할 예상 필드(merchant, date, subtotal 등)를 정의하는 과정을 보여준다. 텍스트 데이터를 구조화된 변수로 바꾸는 핵심 설정을 확인할 수 있다.

06

추출된 데이터는 Slack Notification 블록을 통해 실시간으로 전송되며 원본 이미지를 함께 첨부하여 사람이 직접 검증할 수 있는 레이어를 제공한다.

Slack 첨부 파일 설정을 위한 추가 속성 편집기 — Screenshot추출된 데이터와 함께 원본 이미지를 Slack에 첨부하기 위한 JSON 설정을 보여준다. 인간의 검증을 위한 데이터 매핑 방식을 설명한다.

07

프로덕션 환경의 신뢰성을 위해 프롬프트 버전 관리, 이미지 품질 체크, 모니터링 대시보드 구축 등 실전적인 운영 전략이 수반되어야 한다.

용어 해설

시각 언어 모델(VLM): — 이미지와 텍스트를 동시에 이해하고 처리할 수 있는 멀티모달 AI 모델이다. 이미지 내의 시각적 요소를 분석하여 텍스트로 설명하거나, 특정 질문에 답하고 구조화된 데이터를 추출하는 데 사용된다.
구조화된 출력(Structured Output): — LLM이나 VLM이 자유 형식의 텍스트 대신 JSON과 같이 미리 정의된 특정 스키마나 형식에 맞춰 결과를 생성하는 기능이다. 이를 통해 소프트웨어가 AI의 답변을 추가 처리 없이 즉시 활용할 수 있다.
JSON 파서(JSON Parser): — 문자열 형태의 JSON 데이터를 프로그래밍적으로 접근 가능한 객체나 필드 단위로 분해하는 도구이다. 워크플로우 내에서 모델이 생성한 텍스트 뭉치에서 필요한 정보만 골라내어 변수로 만드는 역할을 한다.
인간 개입형 시스템(Human-in-the-loop): — AI 자동화 과정 중간에 사람이 개입하여 결과를 검증하거나 수정하는 프로세스이다. AI의 신뢰도가 완벽하지 않은 프로덕션 환경에서 오류를 방지하고 데이터 품질을 유지하기 위해 필수적이다.

기술

Roboflow Workflows
GPT-5.2
Slack API
JSON

활용 사례

영수증 비용 정산 자동화
송장 데이터 추출
문서 디지털화 파이프라인
실시간 데이터 로깅

언급된 리소스

튜토리얼Roboflow Slack Notification Guide