이미지 기반 vs 텍스트 기반 PDF 검색: 어떤 방식이 더 우수한가? | AI Trends

WeaviateAI/ML조회 2회

이미지 기반 vs 텍스트 기반 PDF 검색: 어떤 방식이 더 우수한가?

IRPAPERS 벤치마크를 통해 텍스트 기반 검색과 이미지 기반 검색의 성능을 비교하고, 두 방식을 결합한 멀티모달 하이브리드 검색이 가장 높은 성능을 보임을 입증했다.

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

핵심 요약

텍스트와 이미지 검색은 서로 보완적인 관계에 있으며, 두 점수를 결합한 멀티모달 하이브리드 검색이 단일 모달리티보다 뛰어난 성능(Recall@20 기준 95%)을 제공한다.

배경

PDF 문서 검색(RAG) 시스템 구축 시 텍스트 추출(OCR) 방식과 페이지 이미지 임베딩 방식 중 어느 것이 더 효과적인지에 대한 논의가 활발하다.

대상 독자

RAG 시스템을 구축하는 개발자, 정보 검색 연구자, AI 엔지니어

의미 / 영향

RAG 시스템 설계 시 복잡한 OCR 파이프라인 대신 이미지 임베딩을 고려할 수 있는 실질적인 근거를 제공한다. 특히 표나 그림이 많은 전문 문서 검색에서 멀티모달 하이브리드 방식이 표준 아키텍처로 자리 잡을 가능성이 높으며, 이는 검색 정확도 향상과 파이프라인 단순화에 기여할 것이다.

챕터별 상세

00:00

시각적 문서 처리의 부상

멀티모달 임베딩 모델의 발전으로 OCR 없이 페이지 이미지를 직접 벡터 공간에 임베딩하는 방식이 실용화됐다. 텍스트 쿼리로 이미지 문서를 검색하거나 생성 파이프라인에 혼합 모달리티를 적용하는 것이 가능하다. 이는 기존의 텍스트 기반 검색이 가진 시각적 정보 손실 문제를 해결하기 위한 대안으로 주목받고 있다.

기존 방식은 PDF에서 텍스트를 추출(OCR)한 뒤 임베딩하지만, 시각적 방식은 페이지 전체를 하나의 이미지로 보고 처리한다.

01:04

IRPAPERS 데이터셋 소개

정보 검색(IR) 분야의 166개 과학 논문에서 추출한 3,230페이지로 구성된 고밀도 데이터셋이다. 180개의 '바늘 찾기(needle-in-the-haystack)' 질문을 포함하며, 특정 페이지가 유일한 정답이 되도록 설계되어 검색 시스템의 변별력을 엄격하게 테스트한다. 논문들은 유사한 용어와 실험 설정을 공유하고 있어 단순 키워드 매칭 이상의 정교한 검색 능력이 요구된다.

데이터 밀도가 높다는 것은 서로 유사한 내용의 문서가 많아 검색 시스템이 정답을 찾아내기 더 어렵다는 의미이다.

01:59

6가지 검색 전략 비교

BM25(키워드), Arctic Embed 2.0(벡터), 하이브리드 텍스트, ColModernVBERT(멀티벡터 이미지), Muvera 압축 이미지, 멀티모달 하이브리드 검색을 비교했다. 이미지 검색은 페이지를 약 1,000개의 패치로 나누어 임베딩하는 Late Interaction 방식을 사용한다. Muvera 압축 방식은 저장 비용을 크게 줄이면서도 효율적인 검색을 지원하도록 설계됐다.

Late Interaction은 쿼리 토큰과 문서 패치 간의 세밀한 비교를 가능하게 하여 검색 정확도를 높이는 기법이다.

03:43

벤치마크 결과 분석

Recall@1에서는 텍스트 하이브리드가 46%로 이미지(43%)를 앞섰으나, Recall@20에서는 이미지가 93%로 텍스트(91%)를 추월했다. 이는 이미지 검색이 정답 후보군을 넓게 잡는 데 더 유리함을 시사한다. 멀티모달 하이브리드 방식은 Recall@1 49%, Recall@20 95%로 모든 단일 모달리티를 압도하는 성능을 기록했다.

Recall@K는 상위 K개의 결과 안에 정답이 포함될 확률을 의미하는 지표이다.

04:30

텍스트와 이미지의 상호 보완성

텍스트 검색은 고유 명사나 수치 같은 정확한 매칭에 강하고, 이미지 검색은 표, 다이어그램 등 시각적 맥락 이해에 강하다. Recall@1 기준 텍스트만 맞춘 쿼리 22개와 이미지만 맞춘 쿼리 18개가 존재함이 확인됐다. 이러한 모달리티 간의 상호 보완성이 하이브리드 검색의 성능 향상을 이끄는 핵심 동력이다.

두 방식이 서로 다른 유형의 질문에서 실패하기 때문에, 이를 결합하면 각자의 약점을 보완할 수 있다.

실무 Takeaway

텍스트와 이미지 검색은 실패하는 쿼리 유형이 다르므로 두 방식을 결합하는 멀티모달 하이브리드 전략이 가장 효과적이다.
정확한 키워드 매칭이 필요한 경우 BM25와 벡터 검색을 결합한 하이브리드 텍스트 검색이 단일 벡터 검색보다 우수하다.
이미지 기반 검색은 검색 결과의 상위권(Top-20)에 정답을 포함시키는 능력(Recall)이 텍스트보다 뛰어난 경향을 보인다.

언급된 리소스

GitHubIRPAPERS GitHub Repo

DemoIRPAPERS Dataset on Hugging Face

AI 분석 전체 내용 보기

AI 요약 · 북마크 · 개인 피드 설정 — 무료

출처 · 인용 안내

원문 발행 2026. 03. 30.수집 2026. 03. 30.출처 타입 YOUTUBE

인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.