에이전트용 Postgres 기반 메모리 레이어를 구축하고 LongMemEval에서 벤치마크한 사례

커뮤니티 반응은 실용성과 재현성 측면에 관심이 집중된 양상이었다. 일부 사용자는 샘플링된 벤치마크가 실무 회귀 테스트에서 오도할 수 있다는 경험을 공유했고 다른 사용자는 모순 처리와 저장 정책에 대해 구체적 구현 질문을 던졌다. 프로젝트 리포지토리와 한 명령 재현성 제공에 대해 긍정적인 피드백이 나오며 추가 실험 사례를 요청하는 반응도 관찰되었다.

• 벤치마크는 가능하면 전체 오라클 서브셋으로 종단 간 평가를 수행해 샘플링 편향을 피해야 한다.
• 저장 정책에서 추출 신뢰도 임계값을 설정해 낮은 신뢰도 정보를 배제하면 메모리 오염을 줄일 수 있다.
• 레트리벌 단계에서 full-text 매칭과 임베딩 기반 유사도를 결합하여 후보 생성을 하고 후속 랭킹을 통해 정답 후보를 걸러내는 방식이 유효하다.

Semantic Search

— 텍스트를 의미 공간으로 임베딩한 뒤 코사인 유사도 등으로 검색하는 방식으로, 단어 일치가 아닌 의미 유사도를 기준으로 관련 문서를 찾아낸다. 이 글에서는 메모리 레트리벌 단계에서 full-text 검색과 결합해 성능을 올리는 용도로 쓰였다. 시맨틱 검색은 긴 컨텍스트에서 관련 단서를 찾는 데 중요하다.

Full-Text Search

— 문서 전체의 단어 매칭과 순위화(예: TF-IDF, BM25)를 통해 관련 문서를 찾아내는 방식으로, 정확한 문자열 매칭에 강점이 있다. 글에서는 시맨틱 검색과 결합해 보완적으로 사용한 점이 성능에 영향을 미쳤다. 긴 질의에 대해서는 키워드 기반 신호가 여전히 유용할 수 있다.

Extraction Confidence

— 원문에서 구조화된 사실이나 엔티티를 뽑아낼 때 모델이 산출하는 신뢰도 점수로, 낮은 신뢰도의 추출을 저장하지 않으면 메모리 오염을 줄일 수 있다. 글에서는 낮은 신뢰도 추출을 저장하지 않는 정책이 성능에 큰 영향을 미쳤다고 기록되었다. 신뢰도 기준은 저장·검색 단계의 정확도와 직결된다.

Contradiction Resolution

— 서로 다른 소스가 상충하는 정보를 제공할 때 어느 쪽을 우선하거나 추가 검증을 통해 정합성을 확보하는 절차로, 무시하면 답변 정확도가 급격히 떨어질 수 있다. 글에서는 모순하는 두 출처가 조용히 공존하면 QA 성능을 크게 저하시킨다고 보고되었다. 메모리 시스템에서는 출처 간 대조와 신뢰도 기반 선택이 필요하다.