AI 코딩 도구의 과장된 토큰 절감 수치와 실제 벤치마크 분석

작성자의 비판적 시각과 실제 벤치마크 데이터에 대해 긍정적인 반응이 있으며, 특히 마케팅 수치에 가려진 실제 비용 구조를 명확히 짚어준 점이 높게 평가받았다.

• 대규모 코드베이스에서 AI를 사용할 때는 파일 전체를 넘기지 말고 필요한 함수나 클래스만 추출하여 프롬프트에 포함하라.
• 도구 선택 시 인덱싱 비용(LLM 호출 여부)이 포함된 전체 비용 효율성을 계산하라.

• AI 코딩 도구의 성능 수치를 평가할 때 '전체 저장소 읽기'와 같은 비현실적인 베이스라인을 사용했는지 반드시 확인해야 한다.
• 진정한 토큰 최적화는 파일 단위가 아닌 AST 기반의 심볼(함수, 클래스) 단위 추출을 통해 컨텍스트 윈도우 내 무관한 정보를 제거함으로써 달성된다.
• 인덱싱 과정에서 발생하는 LLM 비용과 지연 시간을 고려할 때, 로컬 기반의 구조 분석 도구가 비용 대비 효율성이 더 높을 수 있다.