RAG 시스템은 문서를 작은 청크로 나눠 검색하는데, 청크의 크기가 작아질수록 정확도는 개선되나 탐색 비용이 커진다. 큰 청크는 후보 수를 줄이지만 여러 토픽이 섞여서 표현이 노이즈가 생긴다. MCompassRAG는 청크에 토픽 메타데이터를 주입하여 큰 청크를 더 잘 검색 가능하게 만들고, 추론 시 LLM 호출 없이도 주석된 토픽 정보를 활용해 효율을 높인다. 여섯 개 벤치마크에서 Information Efficiency(IE)를 평균 8.24% 향상시키고 strongest non-LLM baselines 대비 latency를 5배 이상 감소시켰다.
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.
RAG 시스템은 문서를 작은 청크로 나눠 검색하는데, 청크의 크기가 작아질수록 정확도는 개선되나 탐색 비용이 커진다. 큰 청크는 후보 수를 줄이지만 여러 토픽이 섞여서 표현이 노이즈가 생긴다. MCompassRAG는 청크에 토픽 메타데이터를 주입하여 큰 청크를 더 잘 검색 가능하게 만들고, 추론 시 LLM 호출 없이도 주석된 토픽 정보를 활용해 효율을 높인다. 여섯 개 벤치마크에서 Information Efficiency(IE)를 평균 8.24% 향상시키고 strongest non-LLM baselines 대비 latency를 5배 이상 감소시켰다.
Metadata-guided retrieval framework
코arse-grained 청크에 토픽 벡터를 동일한 embedding 공간에 주입하여 토픽-인식 검색을 가능하게 하며, inference 시 LLM 호출 없이도 검색 품질을 높인다. 로우-레벨 retriever는 LLM-teacher distillation으로 경량화된다.
Metadata bank + selection/abstraction
청크의 토픽 배치를 코퍼스 단위 메타데이터 뱅크로 저장하고, 쿼리-사이드에서 관련 메타데이터를 선택한 뒤 추출/추상화하여 쿼리 벡터를 보강한다.
LLM-teacher distillation for efficient retrieval
LLM 교사를 활용해 다중 라벨의 관련성 감독을 생성하고, 경량화된 student가 BCE+KD 손실로 학습하여 inference 시 LLM 호출 없이도 우수한 검색 품질을 유지한다.
Cross-domain generalization
MS Marco/CLaRa와 같은 도메인 일반 데이터로 교육해도 각 벤치마크에서 비도메인 데이터로 학습한 모델보다 우수한 재현성을 보이며, 도메인 적응 데이터가 없어도 견고한 성능을 낸다.
Topic-model-agnostic design
주요 요구사항은 토픽 모델이 retriever embedding 공간으로 매핑 가능한 토픽 분포와 토픽 centroid를 제공하는지 여부이며, 실험에서 CEMTM 등 다양한 토픽 모델과의 호환성을 확인했다.
Efficiency-accuracy trade-off without inference-time LLM
추론 시 LLM을 호출하지 않고도 강력한 검색 품질을 유지하며, 토픽-가이드 검색이 Dense 임베딩 기반 방법보다 효율적임을 보였다.
출발점: RAG의 핵심은 질의-청크 간의 관련성 측정인데, 청크를 더 작게 나눌수록 노이즈 증가와 검색 비용 증가가 발생한다. 또한 고정된 청크 크기로는 다중-문제 해결에 필요한 정밀도가 부족할 수 있다. 해결 원리: 청크마다 topic 모델로부터 얻은 θ_c와 토픽 centroids t_k를 임베딩 공간에 매핑해 chunk-topic 벡터를 구성하고, 쿼리 측면에서도 토픽 정보를 요약한 벡터를 함께 사용한다. 이를 통해 coarse chunk의 정보 손실을 감소시키고, 토픽 방향성에 따라 관련 청크를 더 정확히 매칭한다. 학습 전략: LLM teacher가 편향된 expanded query를 통해 긍정 샘플을 구성하고, student에게 BCE+KD 손실로 학습시키므로 inference 시 LLM 호출 없이도 높은 품질의 증거를 선택할 수 있다. 결과적으로 topic_metadata가 고정된 임베딩보다 라벨-에포트에 구애받지 않는 Semantics를 제공하고, 6개 벤치마크에서 IE를 크게 향상시킴.
도메인-독립적 topic-가이드 검색으로 대용량 코퍼스에서의 증거 탐색을 크게 개선한다. 추론 비용은 크게 줄이고, 장애물로 작용하는 노이즈를 감소시켜 다중-문의 Retrieval에서 실용적인 효율을 보인다.
코드 공개 여부: 공개
코드 저장소 보기아직 관련 토론이 없습니다.
댓글을 작성하려면 로그인이 필요합니다.
