MCP 및 코딩 에이전트 스택의 캐시 효율성 벤치마킹

커뮤니티 반응

작성자의 연구 방법론과 캐시 효율성 지표 도입에 대해 긍정적인 관심을 보이며, 유사한 스택을 사용하는 사용자들의 경험 공유가 이어지고 있다.

01찬성다수

단순 토큰 절감보다 캐시 적중률이 프로덕션 비용과 성능에 더 큰 영향을 미친다.

기존의 단일 축 벤치마크는 토큰 절감량만 측정하여, 실제 프로덕션에서 중요한 프롬프트 캐시 적중률을 간과하는 경향이 있다. 저자는 이를 보완하기 위해 캐시 효율성(cache-friendliness) 지표를 도입해야 한다고 주장한다.

저자는 자신의 코딩 에이전트 스택에서 `rg` 출력 순서의 비결정성으로 인해 5분 TTL 프롬프트 캐시가 무효화되는 문제를 발견했다. `rg` 검색 결과와 Map 항목을 정렬하는 로직을 추가하여 캐시 적중률을 0%에서 100%로 개선했다.

공개된 벤치마크 도구는 `mean_ratio`와 `cache_friendly_score`를 통해 에이전트 스택의 성능을 측정한다. 이 도구는 `stdlib`만 사용하는 파이썬 환경에서 오프라인으로 실행 가능하며, 통계적 유의성을 검증한다.

실험 결과, 전처리 계층이 후속 캐시 적중을 유의미하게 증가시킨다는 가설은 통계적으로 유의미하지 않았다(p=0.32). 또한 두 평가자 간의 일치도(Cohen's κ)는 0.5955로 중간 수준에 머물렀다.

Claude Code중립

코딩 에이전트 스택

Cursor중립

코드베이스 인덱싱

Aider중립

레포지토리 맵