모델 체이닝: 객체 탐지, OCR, LLM을 결합한 단일 워크플로 구축

섹션별 상세

01

기존의 단일 모델 기반 비전 시스템은 복잡한 추론 작업에 한계가 있어, perception, extraction, reasoning 3단계로 구성된 모듈형 파이프라인이 필수적이다.

02

Perception 단계에서는 RF-DETR 모델을 사용하여 영수증의 정확한 위치를 탐지한다. RF-DETR은 트랜스포머 기반 아키텍처로, 다양한 조명과 배경에서도 높은 공간 정확도를 유지하며 지연 시간을 최소화한다.

03

Extraction 단계에서는 Dynamic Crop을 통해 탐지된 영수증 영역만 잘라내어 OCR 엔진에 전달한다. 이는 불필요한 배경 노이즈를 제거하여 OCR 처리 효율을 높인다.

04

Reasoning 단계에서는 추출된 텍스트를 LLM에 전달하여 비즈니스 로직을 적용한다. GPT-4o를 활용해 영수증 내 품목을 추출하고, 신선도에 따라 'Immediate', 'Within 1 Week', 'Shelf Stable'로 자동 분류한다.

05

이러한 모듈형 워크플로는 고해상도 이미지를 직접 LLM에 보내는 대신 텍스트 데이터만 처리함으로써 비용을 절감하고 처리 속도를 최적화한다.

RF-DETR: — Roboflow에서 최적화한 트랜스포머 기반 객체 탐지 모델로, 높은 공간 정확도와 낮은 지연 시간을 제공하여 실시간 비전 파이프라인에 적합하다.
동적 크롭(Dynamic Crop): — 탐지된 객체의 좌표를 기반으로 원본 이미지에서 해당 영역만 잘라내는 전처리 기법으로, 후속 모델의 입력 노이즈를 줄이고 연산 효율을 높인다.
비전 언어 모델(VLM): — 이미지와 텍스트를 동시에 이해하는 모델로, 본문에서는 영수증 이미지에서 텍스트를 추출하는 OCR 엔진으로 활용된다.