대규모 코드베이스 RAG를 위한 AST 기반 그래프 및 BM25 활용 접근법

작성자의 구조적 접근 방식에 대해 긍정적인 반응이 많으며, 특히 BM25가 코드 검색에서 임베딩보다 낫다는 점에 공감하는 분위기이다.

• 코드 RAG 구축 시 Tree-sitter를 활용하여 함수와 클래스 간의 관계를 먼저 추출하라
• 검색 엔진 구현 시 임베딩 모델 도입 전 BM25를 베이스라인으로 먼저 테스트하라
• 컨텍스트 부족 시 Mermaid 다이어그램으로 코드 구조를 시각화하여 LLM에 제공하라

• 코드 RAG에서는 단순 텍스트 유사도보다 AST를 통한 구조적 의존성 파악이 검색 품질에 더 결정적인 영향을 미친다.
• 함수명이나 변수명 같은 고유 식별자 검색에는 벡터 임베딩보다 BM25 알고리즘이 더 높은 정확도를 제공한다.
• 그래프 구조를 활용하면 특정 함수 검색 시 해당 함수가 의존하는 클래스나 모듈을 자동으로 함께 추출하여 LLM의 이해도를 높일 수 있다.
• Mermaid 다이어그램을 활용한 전체 구조 요약과 중요도 기반 노드 압축을 통해 컨텍스트 윈도우를 효율적으로 관리할 수 있다.