3,177건의 API 호출 가로채기로 밝혀진 AI 코딩 에이전트의 실체

핵심 요약

AI 코딩 에이전트들이 컨텍스트 윈도우를 활용하는 실태를 파악하기 위해 3,177건의 API 호출을 가로채 조사를 진행했다. Claude Code는 정밀한 git 이력 활용으로 평균 27K 토큰을 소모한 반면, Gemini 2.5 Pro는 대량의 데이터를 무분별하게 주입하여 10배에 달하는 258K 토큰을 사용했다. 모든 도구가 테스트를 통과했으나 도구별 효율성 차이가 극심하며, 현재의 AI 도구들이 컨텍스트 관리 측면에서 여전히 미흡함이 드러났다.

배경

LLM API 및 토큰 개념, Git 워크플로우, 명령줄 도구(ripgrep, sed)

대상 독자

AI 코딩 에이전트 개발자 및 기업용 AI 도구 도입 의사결정자

의미 / 영향

AI 코딩 도구의 비용 효율성이 모델 성능만큼 중요하다는 인식을 확산시킬 것이다. 특히 컨텍스트 윈도우가 커짐에 따라 발생하는 데이터 덤핑 문제를 해결하기 위한 도구 최적화 경쟁이 가속화될 전망이다.

섹션별 상세

Lars de Ridder는 Context Lens를 구축하여 Claude Code, Codex CLI, Gemini CLI가 동일한 Express.js 디버깅 과제에서 컨텍스트 윈도우를 사용하는 방식을 조사했다. 총 3,177건의 API 호출을 가로채어 각 도구의 조사 전략과 토큰 소비량을 정밀하게 측정했다. 모든 도구가 1,246개의 테스트를 모두 통과하여 결과물의 품질은 동일했으나, 내부적인 작동 방식과 비용 효율성에서 큰 차이가 확인됐다.

모델별 토큰 사용량과 전략에서 극명한 대조가 나타났다. Claude Code(Opus 4.6 기반)는 git 이력을 정밀하게 탐색하며 실행당 평균 27K 토큰을 사용한 반면, Gemini 2.5 Pro는 단일 쿼리에 수백 개의 커밋을 포함하는 방식으로 평균 258K 토큰을 소비했다. 반면 Codex CLI는 git을 전혀 사용하지 않고 ripgrep과 sed 같은 전통적인 명령줄 도구만을 활용해 34초 만에 문제를 해결하는 효율성을 입증했다.

이번 조사 결과는 AI 코딩 에이전트의 성능이 도구 자체의 지능적인 컨텍스트 관리보다는 모델의 기본 역량에 의존하고 있음을 시사한다. 도구 측면에서의 컨텍스트 관리는 사실상 미흡한 수준이며, 모델들이 비효율적인 도구 환경에서도 문제를 해결해내고 있는 실정이다. 이는 향후 코딩 에이전트 발전 방향이 단순한 모델 성능 향상을 넘어 정교한 컨텍스트 필터링과 도구 활용 전략으로 이동해야 함을 뒷받침한다.

실무 Takeaway

AI 코딩 도구 선택 시 모델의 지능뿐만 아니라 도구가 컨텍스트를 구성하고 토큰을 소비하는 방식인 비용 효율성을 반드시 고려해야 한다.
Gemini와 같이 긴 컨텍스트를 지원하는 모델은 도구 설계 단계에서 불필요한 데이터를 대량으로 주입하여 API 비용을 급증시킬 위험이 크다.
전통적인 검색 도구인 ripgrep이나 sed를 적절히 조합하는 것이 최신 LLM 기능을 남용하는 것보다 시간과 비용 측면에서 훨씬 유리할 수 있다.