Rust 기반 로컬 우선 프라이버시 중심 NotebookLM 대안 'Gloss' 개발

대체로 긍정적이며 Rust를 활용한 성능 최적화와 로컬 프라이버시 보호 접근 방식에 대해 높은 관심을 보였다.

• 로컬 프라이버시가 중요한 연구 프로젝트에 NotebookLM 대신 Gloss를 활용할 수 있다.
• Rust의 semantic-memory 크레이트를 참고하여 고성능 하이브리드 검색 엔진 구현 방식을 학습할 수 있다.

계층적 내비게이블 스몰 월드(HNSW)

— 고차원 벡터 공간에서 가장 가까운 이웃을 빠르게 찾기 위한 그래프 기반 인덱싱 알고리즘이다. 데이터가 방대해져도 검색 속도가 로그 스케일로 유지되어 실시간 RAG 시스템의 성능을 좌우하는 핵심 기술로 평가받는다.

BM25

— 문서 내 키워드의 빈도와 전체 문서군에서의 희소성을 고려하여 검색어와의 관련성을 점수화하는 알고리즘이다. 벡터 검색이 포착하지 못하는 정확한 용어 일치 여부를 판단하는 데 탁월하여 하이브리드 검색의 필수 요소로 쓰인다.

하이브리드 검색(Hybrid Search)

— 의미 기반의 밀집 벡터 검색과 키워드 기반의 희소 검색 방식을 결합하여 검색 품질을 높이는 기법이다. 문맥의 흐름을 파악하는 능력과 특정 단어를 정확히 찾아내는 능력을 동시에 갖추어 RAG 시스템의 답변 정확도를 높이는 데 기여한다.