Codeset: Git 히스토리 기반 컨텍스트 제공으로 OpenAI Codex 성능 향상 결과 공유

작성자가 직접 벤치마크 결과와 방법론을 공유했으며, 특히 RAG를 사용하지 않는 방식에 대한 관심이 나타났다.

• AI 에이전트의 성능이 부족할 때 RAG 도입 전 Git 히스토리를 요약하여 컨텍스트로 제공하는 방식을 고려할 것
• 저장소 내에 과거 버그 사례나 테스트 체크리스트를 문서화해두면 에이전트의 작업 정확도가 향상됨

SWE-Bench

— GitHub의 실제 이슈를 해결하는 능력을 평가하여 AI 모델의 실무 코딩 역량을 측정하는 벤치마크이다. 모델이 코드베이스 전체를 이해하고 버그를 수정하거나 기능을 구현하는 과정을 평가하며, 에이전트 성능의 핵심 지표로 활용된다.

Context Window

— LLM이 한 번의 추론 과정에서 동시에 처리하고 기억할 수 있는 텍스트 데이터의 최대 범위이다. 이 범위가 클수록 더 많은 소스 코드와 히스토리를 입력으로 넣을 수 있어 복잡한 프로젝트 맥락을 파악하는 데 유리하다.

RAG

— 모델 외부의 데이터베이스에서 관련 정보를 검색하여 프롬프트에 주입하는 기술이다. 실시간 데이터나 방대한 문서군을 참조할 때 유용하지만, 검색 품질에 따라 결과가 달라지는 한계가 있다.

Git History

— 소스 코드의 변경 이력과 커밋 메시지, 수정 이유 등을 기록한 데이터이다. 과거의 버그 수정 사례나 코드 간의 의존성 변화를 담고 있어 AI 에이전트가 프로젝트의 관습과 주의사항을 학습하는 중요한 근거가 된다.