Verbatim-RAG Extractor: RAG 시스템을 위한 경량 증거 추출 모델

섹션별 상세

기존 RAG 시스템은 증거 추출을 위해 LLM 호출에 의존하여 비용과 지연 문제가 발생했다. 이 모델은 150M 파라미터의 경량 인코더를 사용하여 로컬에서 결정론적으로 증거 구간을 추출함으로써 이러한 비용을 절감한다.

ModernBERT를 기반으로 8192 토큰의 긴 컨텍스트를 지원하며, 슬라이딩 윈도우 방식을 통해 긴 문서에서도 증거를 효과적으로 식별한다.

학습 데이터셋은 과학 논문뿐만 아니라 금융 표, 법률 계약, 의료 문헌, 코드 도구 출력(stack traces 등)을 포함하여 다양한 도메인에서 범용적인 성능을 발휘한다.

ACL gold, RAGBench, Squeez, QASPER 등 4개 벤치마크에서 기존 범용 추출기 대비 우수한 Word-F1 성능을 기록했다.

용어 해설

검색 증강 생성(RAG): — 외부 데이터를 검색하여 LLM의 답변 정확도를 높이는 기술이다. 이 아티클에서는 검색된 문서에서 질문에 대한 답이 되는 증거 구간을 추출하는 과정에 집중한다.
ModernBERT: — 긴 컨텍스트 처리에 최적화된 BERT 변형 아키텍처이다. 8192 토큰의 긴 시퀀스를 지원하여 복잡한 문서 분석에 유리하다.
토큰 분류(Token Classification): — 텍스트의 각 토큰에 특정 레이블을 할당하는 작업이다. 여기서는 각 토큰이 증거 구간에 포함되는지 여부를 이진 분류하는 데 사용된다.
재순위화(Reranking): — 검색된 문서들의 순위를 다시 조정하여 관련성 높은 문서를 상단에 배치하는 과정이다. 증거 추출 전 단계로 활용된다.

코드 예제

python

from transformers import AutoModel
model = AutoModel.from_pretrained(
    "KRLabsOrg/verbatim-rag-modern-bert-v2",
    trust_remote_code=True,
)
result = model.process(
    question="What is ModernBERT?",
    context="...",
    threshold=0.2,
)

모델을 로드하고 쿼리와 컨텍스트를 입력하여 증거 구간을 추출하는 예시 코드

기술

ModernBERT
RAG
Python
Transformers

활용 사례

RAG 시스템 증거 추출
기술 문서 분석
코드 기반 QA

언급된 리소스

GitHubVerbatim-RAG GitHub

논문ACL-Verbatim: hallucination-free question answering for research