Gemini를 활용한 영수증 및 제품 이미지 데이터 추출 실무 경험 공유

커뮤니티 반응

실무적인 데이터 추출 경험에 대해 긍정적인 반응이며, 구체적인 프롬프트 설계 방식에 대한 추가 질문이 이어졌다.

주요 논점

01찬성다수

단일 모델을 통한 통합 추출 방식이 비용과 속도 면에서 다단계 파이프라인보다 우수하다.

합의점 vs 논쟁점

합의점

프롬프트에 JSON 구조를 명시하는 것이 추출 성능 향상에 결정적이다.
변색된 열전사 영수증은 현재 기술로도 해결하기 어려운 난제이다.

실용적 조언

비용 절감을 위해 Gemini Flash를 기본으로 사용하고, 실패하거나 복잡한 케이스만 Pro로 재시도하는 라우팅 로직을 구현하라.
프롬프트 작성 시 각 필드에 대한 데이터 타입과 제약 조건을 상세히 기술하여 JSON 출력을 유도하라.

섹션별 상세

기존의 OCR 모델과 언어 모델을 결합한 2단계 파이프라인보다 단일 패스 추출 방식이 더 효율적이다. Gemini는 시각 정보 인식과 데이터 구조화를 한 번의 호출로 수행하여 처리 속도를 높이고 비용을 낮췄다. 수천 장의 테스트 결과, 이러한 통합 방식이 실무 환경에서 더 나은 성능을 보였다.

영수증 데이터 추출 서비스인 CartLens의 모바일 인터페이스 스크린샷이다. — Screenshot영수증에서 추출된 품목명, 가격, 수량 등이 구조화되어 표시되는 앱 화면을 보여준다. 하단에는 전체 금액과 절약된 금액이 계산되어 있으며, 우측에는 챗봇을 통해 카테고리별 지출 내역을 요약하는 기능이 구현되어 있어 본문에서 언급한 데이터 구조화의 실제 적용 사례를 확인할 수 있다.

모델의 크기보다 프롬프트의 구조가 추출 정확도에 더 큰 영향을 미친다. 단순히 텍스트를 추출하라고 요청하는 대신, 엄격한 필드 정의를 포함한 JSON 형식을 요구했을 때 성능이 비약적으로 향상됐다. 이는 비정형 이미지 데이터에서 정형 데이터를 뽑아낼 때 프롬프트 엔지니어링의 중요성을 입증한다.

열전사 용지의 변색은 데이터 추출에서 가장 해결하기 어려운 엣지 케이스로 나타났다. 모델이 이미지의 흐림이나 각도 문제는 잘 처리하지만, 글자가 흐릿해진 영수증에서는 환각 현상이 빈번하게 발생했다. 현재 이를 완화하기 위한 추가적인 전략을 개발 중인 단계이다.

Gemini Flash와 Pro 모델 간의 비용 및 성능 최적화를 위해 라우팅 전략을 사용했다. 일반적인 영수증의 95%는 Flash 모델로도 충분히 처리가 가능하지만, 다단 레이아웃이나 수기 메모가 포함된 복잡한 사례는 Pro 모델이 필요했다. 두 모델을 적절히 배분하여 운영 비용을 최적화하는 것이 실무적으로 유효했다.

용어 해설

광학 문자 인식(OCR): — 이미지나 문서 내의 텍스트를 기계가 읽을 수 있는 디지털 데이터로 변환하는 기술이다. 영수증이나 제품 라벨의 시각 정보를 텍스트로 추출하여 데이터 구조화의 기초를 제공하는 역할을 한다.
JSON 모드(JSON Mode): — LLM이 응답을 정해진 JSON 스키마 형식으로 출력하도록 강제하는 기능이다. 필드 정의를 엄격하게 지정함으로써 데이터 추출의 정확도를 높이고 후속 시스템과의 연동을 용이하게 만든다.
환각 현상(Hallucination): — AI 모델이 사실과 다르거나 존재하지 않는 정보를 마치 사실인 것처럼 생성하는 현상이다. 본문에서는 흐릿한 열전사 영수증을 처리할 때 잘못된 수치를 만들어내는 문제로 언급됐다.
단일 패스 추출(Single-pass Extraction): — OCR과 데이터 구조화를 별도의 단계로 나누지 않고 하나의 모델 호출로 동시에 수행하는 방식이다. 파이프라인 단계를 줄여 처리 속도를 높이고 비용을 절감하는 효과가 있다.

언급된 도구

Gemini추천

이미지 기반 텍스트 추출 및 데이터 구조화

Gemini Flash추천

일반적인 영수증 데이터 추출 (비용 효율적)

Gemini Pro추천

복잡한 레이아웃 및 수기 데이터 처리