LLM 에이전트의 메모리 문제를 해결하기 위한 파이프라인 아키텍처 설계

작성자의 체계적인 접근 방식에 대해 긍정적인 반응이 많으며, 특히 그래프 DB 없이 관계를 구현한 점과 증류 레이어의 필요성에 공감하는 분위기이다.

• 메모리 검색 실패를 줄이기 위해 파일 내부에 핵심 아이디어의 다양한 어휘적 표현(Synonyms)을 포함시키라.
• 복잡한 그래프 DB 도입 전, 마크다운의 상호 참조를 통해 데이터 간의 관계를 먼저 구조화해 보라.
• 모든 대화를 저장하기보다 주기적인 배치 작업을 통해 결정 사항과 선호도만 남기는 증류 프로세스를 구축하라.

컨텍스트 윈도우(Context Window)

— LLM이 한 번에 처리할 수 있는 토큰의 최대량이다. 세션이 반복될수록 과거 정보가 이 범위를 벗어나 망각되는 문제를 해결하기 위해 효율적인 메모리 관리 전략이 필수적이다.

임베딩 유사도(Embedding Similarity)

— 텍스트를 수치 벡터로 변환하여 의미적 거리를 계산하는 방식이다. 단순 검색 시 단어의 형태가 다르면 의미가 같아도 검색에 실패할 수 있어 유의어 확장 등의 보완 기법이 사용된다.

손실 압축(Lossy Compression)

— 데이터의 전체 내용 중 불필요한 부분을 제거하고 핵심 정보만 남기는 기법이다. LLM 메모리 시스템에서는 방대한 로그에서 결정 사항이나 선호도 같은 불변의 데이터만 추출하여 저장 공간을 최적화한다.

원자적 메모리(Atomic Memory)

— 정보를 더 이상 나눌 수 없는 최소 단위의 개념으로 분할하여 저장하는 방식이다. 대규모 문서를 통째로 저장하는 대신 단일 개념별로 파일을 관리하여 검색의 정확도와 업데이트의 용이성을 높인다.