Analog Memory: HotPotQA에서 79.2% EM 달성 및 2초 내 메모리 저장 실현

그래프 기반 메모리의 고질적인 문제인 지연 시간 단축에 대해 높은 관심을 보이고 있으며, 실시간 에이전트 워크플로우에 적용 가능한 수준의 성능이라는 점에 주목하고 있다.

• 그래프 기반 메모리를 구축할 때 지연 시간이 문제라면 Analog Memory의 트리플렛 변환 방식을 참고하라.
• 로컬 프로토타이핑 시에는 클라우드 대시보드를 활용해 문장이 그래프로 변환되는 과정을 모니터링하며 프롬프트를 튜닝하라.

핫팟QA(HotPotQA)

— 여러 문서에 흩어진 정보를 결합하여 답을 찾아야 하는 멀티홉(Multi-hop) 질의응답 성능을 측정하는 벤치마크 데이터셋이다. 에이전트의 복합적인 추론 능력을 평가하는 데 중요한 지표로 활용된다.

그래프 트리플렛(Graph Triplet)

— 지식을 '주체(Subject)-관계(Relation)-대상(Object)'의 세 가지 요소로 구조화하여 표현하는 방식이다. 비정형 텍스트를 정형화된 그래프 구조로 변환하여 데이터 간의 연결성을 명확히 정의한다.

멀티홉 추론(Multi-hop Reasoning)

— 단일 정보원만으로는 해결할 수 없는 문제를 여러 단계의 논리적 연결 고리를 따라가며 해결하는 과정이다. 그래프 데이터베이스에서 노드 간의 관계를 따라가며 정답을 도출하는 핵심 메커니즘이다.

완전 일치율(Exact Match (EM))

— 모델이 생성한 답변이 정답과 글자 하나 틀리지 않고 완벽하게 일치하는 비율을 나타내는 성능 지표이다. 주로 질의응답 시스템의 정확도를 엄격하게 평가할 때 사용된다.