평면 벡터를 넘어: 가우시안 스플랫을 이용한 계층적 LLM 메모리 구조 제안

핵심 요약

기존의 평면적인 벡터 검색 방식에서 벗어나 가우시안 스플랫과 초구체(Hypersphere)를 활용해 생물학적 기억 구조를 모사한 계층적 RAG 메모리 시스템을 제안한다.

배경

기존 RAG 시스템의 평면적 벡터 검색 방식이 맥락 파악과 기억 관리에 한계가 있다고 판단하여, 가우시안 스플랫을 활용한 계층적 메모리 구조를 설계하고 벤치마크 결과를 공유했다.

의미 / 영향

이 토론은 RAG 시스템의 성능 병목이 단순한 검색 알고리즘이 아닌 데이터 저장 구조 자체에 있을 수 있음을 시사한다. 가우시안 스플랫을 활용한 계층적 접근은 대규모 지식 베이스에서 효율적인 데이터 관리와 정밀한 맥락 추출을 가능하게 하는 새로운 패러다임을 제시한다.

커뮤니티 반응

작성자의 실험적인 접근 방식에 대해 흥미롭다는 반응이며, 특히 성능 향상 수치와 계층적 구조의 실효성에 대해 주목하고 있다.

실용적 조언

대규모 RAG 시스템 구축 시 단순 벡터 검색 대신 계층적 구조를 도입하면 검색 속도와 맥락 파악 능력을 동시에 개선할 수 있다.
데이터의 중요도와 밀도에 따라 VRAM, RAM, SSD로 메모리 라우팅을 자동화하여 시스템 자원을 최적화할 수 있다.

언급된 도구

Pinecone중립

벡터 데이터베이스

Milvus중립

벡터 데이터베이스

FAISS중립

벡터 검색 라이브러리

Vulkan추천

GPU 가속 API

섹션별 상세

기존 벡터 DB의 평면적 구조가 가진 한계를 지적하며 인간의 기억과 유사한 형태의 메모리 구조 필요성을 강조했다. Pinecone이나 Milvus 같은 기존 방식은 단순한 좌표 리스트에 불과하여 계층적 맥락이나 데이터 밀도를 표현하지 못한다는 점을 문제로 삼았다. 이를 해결하기 위해 고차원 S^639 초구체(Hypersphere)에 가우시안 스플랫(Gaussian Splats) 형태로 데이터를 저장하는 방식을 제안했다.

가우시안 스플랫을 활용한 '동적 망각 및 통합(Dynamic Forgetting & Consolidation)' 메커니즘을 설명했다. 데이터가 반복적으로 참조되면 농도(κ)가 높아지고, 참조되지 않으면 자연스럽게 소멸하거나 병합되는 생물학적 기억의 특성을 구현했다. 이는 데이터베이스가 스스로를 큐레이션하여 불필요한 데이터를 정리하는 자가 조직화 임계성(Self-Organized Criticality)을 가능하게 한다.

계층적 검색 엔진(HRM2)을 통한 다중 해상도 쿼리 방식을 도입하여 검색 효율성을 극대화했다. 단순히 유사한 상위 K개의 청크를 가져오는 대신, 필요에 따라 광범위한 요약 정보를 담은 '부모 스플랫'이나 구체적인 정보를 담은 '자식 스플랫'으로 줌인/아웃이 가능하다. 이 방식은 검색 복잡도를 O(N)에서 O(log N)으로 줄여 대규모 데이터셋에서도 빠른 속도를 보장한다.

CPU 기반 구현체에서 10만 개의 스플랫을 대상으로 벤치마크를 수행한 결과, 선형 검색 대비 약 96배의 속도 향상을 확인했다. 기존 방식이 94.7ms 소요될 때 제안된 방식은 0.99ms 만에 검색을 완료하여 수학적 이론의 실효성을 입증했다. 현재는 Vulkan GPU 가속 기능을 추가하고 코드베이스를 리팩터링하여 GitHub에 V1.0을 공개할 준비를 하고 있다.

이미지 분석

Diagram
고차원 공간에서 데이터가 어떻게 군집을 이루고 계층적으로 연결되는지를 보여준다. 제안된 HRM2 엔진이 데이터를 어떻게 탐색하는지 시각적으로 설명하며, 평면 벡터와 차별화되는 '형태'가 있는 메모리 개념을 뒷받침한다.
가우시안 스플랫 기반의 계층적 메모리 구조를 시각화한 다이어그램이다.

실무 Takeaway

기존의 평면적 벡터 검색은 계층적 맥락과 데이터 밀도를 표현하는 데 한계가 있어 가우시안 스플랫 기반의 새로운 구조가 필요하다.
데이터의 참조 빈도에 따라 농도를 조절함으로써 생물학적 기억처럼 스스로 관리되는 데이터베이스 구축이 가능하다.
계층적 검색(HRM2)을 통해 검색 복잡도를 O(log N)으로 개선하고 96배 이상의 성능 향상을 달성했다.