Codeset: Git 히스토리 기반 컨텍스트 제공으로 OpenAI Codex 성능 향상 결과 공유

작성자가 직접 벤치마크 결과와 방법론을 공유했으며, 특히 RAG를 사용하지 않는 방식에 대한 관심이 나타났다.

• AI 에이전트의 성능이 부족할 때 RAG 도입 전 Git 히스토리를 요약하여 컨텍스트로 제공하는 방식을 고려할 것
• 저장소 내에 과거 버그 사례나 테스트 체크리스트를 문서화해두면 에이전트의 작업 정확도가 향상됨

소프트웨어 엔지니어링 벤치마크(SWE-Bench)

— GitHub의 실제 이슈를 해결하는 능력을 평가하여 AI 모델의 실무 코딩 역량을 측정하는 벤치마크이다. 모델이 코드베이스 전체를 이해하고 버그를 수정하거나 기능을 구현하는 과정을 평가하며, 에이전트 성능의 핵심 지표로 활용된다.

컨텍스트 윈도우(Context Window)

— LLM이 한 번의 추론 과정에서 동시에 처리하고 기억할 수 있는 텍스트 데이터의 최대 범위이다. 이 범위가 클수록 더 많은 소스 코드와 히스토리를 입력으로 넣을 수 있어 복잡한 프로젝트 맥락을 파악하는 데 유리하다.

검색 증강 생성(RAG)

— 모델 외부의 데이터베이스에서 관련 정보를 검색하여 프롬프트에 주입하는 기술이다. 실시간 데이터나 방대한 문서군을 참조할 때 유용하지만, 검색 품질에 따라 결과가 달라지는 한계가 있다.

깃 히스토리(Git History)

— 소스 코드의 변경 이력과 커밋 메시지, 수정 이유 등을 기록한 데이터이다. 과거의 버그 수정 사례나 코드 간의 의존성 변화를 담고 있어 AI 에이전트가 프로젝트의 관습과 주의사항을 학습하는 중요한 근거가 된다.