[오픈 소스] FCE — RAG를 위한 C++ 인메모리 코드 그래프 엔진 (10개 언어 지원, 1000만 심볼, ~50ns 쿼리)

커뮤니티 반응

작성자가 피드백과 기술적 비판을 요청하고 있으며, 고성능 로컬 LLM 프로젝트의 백본으로 활용되기를 기대하고 있다.

실용적 조언

대규모 코드베이스 기반 RAG 구축 시 Python 바인딩이 있는 C++ 엔진을 사용하여 I/O 병목을 해결할 수 있다.
Tree-sitter를 활용하면 다국어 코드 파싱 및 심볼 추출을 표준화된 방식으로 처리 가능하다.

섹션별 상세

FCE는 기존 Python 및 외부 DB(SQLite, LanceDB 등) 기반 RAG 시스템의 성능 한계를 극복하기 위해 설계됐다. 작성자는 대규모 프로젝트에서 심볼 쿼리 시 발생하는 디스크 I/O와 직렬화 세금을 줄이기 위해 전체 엔진을 C++로 밑바닥부터 구현했다.

기술적으로는 Tree-sitter를 사용하여 10가지 프로그래밍 언어를 파싱하고, RAM 상에 데이터 지향 설계(Data-Oriented Design)를 적용한 심볼 관계 그래프를 구축한다. 이를 통해 일반적인 DB 쿼리(~50,000ns)보다 압도적으로 빠른 O(1) 해시 룩업(~50ns) 성능을 달성했다.

그래프 탐색 기능은 BFS(너비 우선 탐색)와 관계 필터링을 지원하며, '밀도 인식 자동 확장(Density-aware auto-expansion)' 기능을 갖추고 있다. 이는 LLM이 아닌 엔진이 직접 컨텍스트의 충분 여부를 판단하여 효율적인 정보 추출을 돕는다.

성능 벤치마크 결과, 1,000만 개 이상의 심볼을 가진 언리얼 엔진 5.7(Unreal Engine 5.7)을 152초 만에 인덱싱하며, 리눅스 커널(Linux Kernel)은 85초 만에 처리를 완료하는 높은 효율성을 입증했다.

용어 해설

검색 증강 생성(RAG): — 외부 지식 베이스에서 관련 정보를 검색하여 LLM의 답변 생성에 활용하는 기술이다. 코드베이스 RAG에서는 단순 텍스트 검색을 넘어 함수 호출이나 상속 같은 구조적 관계를 정확히 파악하는 것이 성능의 핵심이다.
트리 시터(Tree-sitter): — 소스 코드를 구문 트리로 파싱하는 증분 파싱 라이브러리이다. 다양한 프로그래밍 언어를 지원하며, 코드의 구조적 정보를 추출하여 심볼 간의 관계를 분석하는 데 필수적인 도구이다.
데이터 지향 설계(Data-Oriented Design): — 객체 중심이 아닌 데이터의 메모리 배치와 접근 패턴에 집중하는 설계 방식이다. CPU 캐시 효율을 극대화하여 대규모 데이터 처리 시 하드웨어 성능을 한계까지 끌어올릴 수 있다.
인메모리 데이터베이스(In-memory Database): — 데이터를 디스크가 아닌 주 기억장치(RAM)에 저장하여 관리하는 방식이다. 디스크 I/O 오버헤드가 없어 검색 속도가 압도적으로 빠르며, 실시간 쿼리 처리에 유리하다.

언급된 도구

FCE (Flat Code Engine)추천

고성능 인메모리 코드 그래프 RAG 엔진

Tree-sitter중립

다국어 소스 코드 파싱 라이브러리

언급된 리소스

GitHubFCE GitHub Repository