HeLa-Mem: LLM 에이전트를 위한 헵 학습 및 연상 기억 시스템

섹션별 상세

기존 LLM 메모리 시스템은 대화 이력을 비정형 임베딩 벡터로 저장하고 유사도에만 의존하여 검색하는 한계가 있었다. HeLa-Mem은 이를 해결하기 위해 관련 경험이 반복될수록 연결이 강화되는 헵 학습(Hebbian Learning) 역학을 그래프 구조에 도입했다. 이를 통해 단순 검색을 넘어 기억 간의 연상 구조를 형성하고 유지할 수 있다.

메모리 조직은 에피소드 기억 그래프와 세만틱 기억 저장소라는 두 가지 계층으로 구성된다. 에피소드 기억은 공동 활성화 패턴에 따라 실시간으로 진화하며, 세만틱 기억은 'Hebbian Distillation' 과정을 통해 구축된다. Reflective Agent가 밀집된 기억 허브를 식별하고 이를 구조화된 지식으로 변환함으로써 재사용성을 높인다.

생물학적 뇌의 활성 확산 메커니즘을 모방하여 관련 정보가 네트워크를 타고 전파되도록 설계했다. 특정 기억이 호출되면 연결된 노드들이 함께 활성화되어 맥락적으로 연관된 정보를 더 효과적으로 추출한다. 이 과정은 인간의 인지 과정에서 나타나는 에피소드-세만틱 구분을 모델링한 결과이다.

LoCoMo 데이터셋을 활용한 성능 평가에서 HeLa-Mem은 효율성과 정확성을 동시에 증명했다. 기존 시스템 대비 현저히 적은 컨텍스트 토큰을 사용함에도 불구하고 질문 답변 성능은 오히려 향상됐다. 이는 불필요한 정보 노이즈를 줄이고 핵심적인 연상 관계만을 활용한 결과로 해석된다.

근거

HeLa-Mem은 LoCoMo 벤치마크의 4개 질문 카테고리에서 더 적은 토큰으로 우수한 성능을 보였다. — Abstract 및 Experiments on LoCoMo 섹션 출처

기술

LLM
HeLa-Mem
Hebbian Distillation

활용 사례

장기 대화가 필요한 개인용 AI 비서
복잡한 지식 그래프를 활용하는 연구용 에이전트
컨텍스트 비용 최적화가 필요한 엔터프라이즈 LLM 서비스

언급된 리소스

논문HeLa-Mem: Hebbian Learning and Associative Memory for LLM Agents (arXiv)