RAG 인덱싱 비용을 90% 절감하는 오픈소스 청킹 알고리즘 'KARA'

실용적 조언

기존 LangChain의 인덱싱은 문서의 작은 변경에도 해시값이 달라져 전체를 재임베딩하는 '도미노 효과'가 발생한다. 이는 문서의 첫 부분에 문장 하나만 추가해도 전체 청크의 해시가 깨지며 발생하는 현상이다.

KARA는 텍스트를 의미 단위로 분해하고 DAG(방향성 비순환 그래프)를 구축하여 최단 경로 문제를 해결함으로써 청킹을 최적화한다. 노드는 경계, 엣지는 잠재적 청크로 정의하여 텍스트를 구조화한다.

이 알고리즘은 기존 청크 해시를 재사용하여 재임베딩을 70-90% 줄이고, 분산 페널티를 적용해 청크 파편화를 방지한다. 별도의 외부 데이터베이스 없이 기존 벡터 스토어 정보만으로 작동하는 경량 솔루션이다.

실제 위키피디아 문서 대상 스트레스 테스트에서 1,000번의 순차적 편집을 수행했을 때 전체 재임베딩 작업을 25% 영구적으로 감소시켰다.

LangChain중립

RAG 파이프라인 구축 및 인덱싱

KARA추천

Graph-Optimized Chunking 알고리즘