RAG 파이프라인의 시간적 진부화 문제를 해결하는 Decay Scoring 기법

커뮤니티 반응

작성자의 문제 제기에 공감하며, RAG의 시간적 최신성 문제에 대한 다양한 해결책을 논의하는 분위기이다.

01중립다수

RAG의 시간적 최신성 문제를 해결하기 위해 decay scoring을 도입하는 것이 효과적이라는 의견이다.

표준 RAG 시스템은 검색된 문서의 의미적 유사성만 고려할 뿐 시간적 최신성을 반영하지 못한다. 이는 빠르게 변화하는 도메인에서 오래된 정보를 검색 결과 상단에 배치하는 품질 문제를 야기한다.

작성자는 문서의 생성 시점과 현재 시점의 차이를 계산하여 freshness score를 부여하는 post-retrieval decay gate를 제안했다. 이 시스템은 검색된 문서가 LLM 컨텍스트에 입력되기 전 감쇠 점수를 적용하여 최신성을 보정한다.

감쇠 점수는 decay = 1 - 0.5^(age_days / half_life_days) 공식을 사용한다. 소스 유형에 따라 반감기(half-life)를 다르게 설정하여 GitHub 저장소는 arXiv 논문보다 더 빠르게 점수가 감쇠되도록 설계했다.

작성자는 이 접근법이 RAG 파이프라인에서 시간적 진부화 문제를 해결하는지, 혹은 다른 대안이 있는지 커뮤니티의 의견을 구했다.