LMEB: 장기 기억 임베딩 벤치마크

기존의 임베딩 평가는 짧은 문서 검색에만 치중되어 있어, 실제 AI 에이전트가 필요로 하는 파편화되고 맥락 의존적인 장기 기억 능력을 측정하기 어려웠다. LMEB는 일상 대화, 사건 기록, 전문 절차 등 4가지 기억 유형을 체계적으로 평가하여 더 똑똑하고 신뢰할 수 있는 메모리 증강 시스템 개발을 위한 이정표를 제시한다.

임베딩은 텍스트를 고차원 벡터 공간의 점으로 변환하여 의미적 유사도를 계산하는 기술이다. 기존 방식은 잘 정리된 백과사전식 문서 검색에는 능숙하지만, 실제 AI 에이전트가 마주하는 기억은 파편화되어 있고 시간이 지남에 따라 맥락이 변하는 특성이 있어 단순 유사도 계산만으로는 한계가 있다.

LMEB는 기억을 '에피소드(사건)', '대화(상호작용)', '의미(지식)', '절차(기술)'로 나누어 각기 다른 벡터 공간적 특성을 요구한다. 예를 들어 대화 기억은 이전 대화 내용과의 시간적 연결성(Temporal Dependency)이 중요하며, 절차 기억은 행동 순서에 대한 높은 추상화 능력이 필요하다. 이는 모델이 단순히 단어의 의미를 아는 것을 넘어, 정보 간의 시간적/논리적 관계를 파악해야 함을 의미한다.

실험 결과, 수십억 개의 파라미터를 가진 거대 모델이 특정 기억 검색에서 작은 모델보다 뒤처지는 현상이 발견됐다. 이는 장기 기억 처리를 위해서는 단순한 모델 크기 확장보다 아키텍처의 적응성과 특정 작업에 특화된 학습 데이터가 더 중요함을 시사한다. 결과적으로 LMEB는 모델이 실제 세상의 복잡한 맥락을 얼마나 깊이 있게 이해하는지를 측정하는 새로운 척도가 된다.

LMEB는 MTEB v2 프레임워크를 기반으로 구축되었으며, 쿼리(Query), 코퍼스(Corpus), 정답셋(Qrels)으로 구성된 표준화된 IR(정보 검색) 형식을 채택했다. 특히 시간 정보가 포함된 쿼리의 경우, 현재 시간을 앵커(Anchor)로 추가하여 시간적 모호성을 해소하는 전처리를 수행한다.

평가 지표로는 NDCG@10을 주력으로 사용한다. 상위 10개 결과에 대해 각 결과의 관련성 점수를 순위의 로그값으로 나누어 합산한 뒤, 이를 이상적인 순위 결과로 나누어 0에서 1 사이의 값으로 정규화한다. 이는 정답을 맞혔는지를 넘어, 얼마나 상위권에 정확하게 배치했는지를 수치화하여 모델의 랭킹 품질을 정밀하게 측정한다.

검색 범위 제한을 위해 '후보군 파일(Candidates file)'을 선택적으로 사용한다. 예를 들어 대화 시나리오에서 쿼리는 전체 코퍼스가 아닌 해당 대화 이력 내에서만 검색하도록 제한하여, 실제 에이전트가 겪는 제약 조건을 시뮬레이션한다. 또한 지시문(Instruction) 포함 여부에 따른 성능 변화를 측정하기 위해 'w/o inst.'와 'w/ inst.' 두 가지 설정을 모두 평가한다.

15개 모델 평가 결과, bge-multilingual-gemma2 모델이 지시문 포함 설정(w/ inst.)에서 평균 NDCG@10 61.41점을 기록하며 가장 우수한 성능을 보였다. 이는 LMEB가 변별력 있는 난이도를 갖추고 있음을 보여준다.

모델 크기별 분석에서 KaLM-Embedding-Gemma3(12B)와 같은 대형 모델이 오히려 EmbeddingGemma-300M이나 bge-m3(560M)보다 특정 작업에서 낮은 점수를 기록하는 사례가 빈번했다. 이는 모델 아키텍처와 작업 적응력이 단순 파라미터 수보다 더 큰 영향을 미침을 의미한다.

MTEB와의 상관관계 분석 결과, 피어슨 상관계수가 -0.115로 나타나 두 벤치마크가 서로 독립적인(Orthogonal) 영역을 평가하고 있음이 확인됐다. 즉, 일반적인 문서 검색을 잘한다고 해서 장기 기억 검색을 잘하는 것은 아니라는 점이 실험적으로 입증됐다.

LMEB는 기억의 추상화 수준(Level of Abstraction)과 시간적 의존성(Temporal Dependency)이라는 두 가지 차원으로 기억을 정의한다. 에피소드 기억은 낮은 추상화와 높은 시간 의존성을, 의미 기억은 낮은 추상화와 낮은 시간 의존성을 특징으로 하며, 대화와 절차 기억은 상대적으로 높은 추상화 수준을 요구한다.

벤치마크는 AI 생성 데이터와 사람이 직접 주석을 단 데이터를 혼합하여 구성했다. 특히 에피소드와 대화 유형은 시간적 순서가 중요한 'Time-stamped' 데이터를 포함하여 모델의 시간 추론 능력을 직접적으로 테스트한다. 이는 단순 키워드 매칭을 넘어선 고차원적 맥락 이해를 요구한다.

구현 측면에서 vLLM, Transformers, Sentence-Transformers 등 다양한 라이브러리를 지원하는 통합 평가 파이프라인을 제공한다. 새로운 모델이나 데이터셋을 최소한의 코드 수정으로 추가할 수 있는 확장성을 확보하여 학계와 산업계 모두에서 쉽게 활용할 수 있도록 설계되었다.

실험 결과에서 나타난 MTEB와의 낮은 상관관계는 기존 임베딩 모델들이 정적인 지식 검색에는 최적화되어 있으나, 동적으로 변화하고 파편화된 기억 데이터를 처리하는 데에는 한계가 있음을 시사한다. 이는 향후 임베딩 모델 학습 시 장기 기억 특성을 반영한 데이터 증강 및 학습 목적 함수 설계의 필요성을 뒷받침한다.

MTEB와 LMEB의 상관관계가 낮다는 점은 확인했으나, 어떤 구체적인 아키텍처 요소가 장기 기억 검색 성능을 결정짓는지에 대한 심층적인 이론적 분석은 향후 과제로 남아 있다. 또한 현재는 영어 데이터셋에 집중되어 있어 다국어 확장 연구가 필요하다.