Claude Code 세션 분석을 위한 로컬 대시보드 및 엔지니어링 역량 추적 도구

커뮤니티 반응

작성자가 직접 개발한 도구에 대해 커뮤니티는 대체로 긍정적이며, AI 협업 능력을 정량화하려는 시도에 관심을 보이고 있습니다.

주요 논점

01찬성다수

자신의 코딩 습관과 AI 활용 능력을 객관적인 지표로 확인하고 개선할 수 있는 유용한 도구이다.

합의점 vs 논쟁점

합의점

Claude Code의 로컬 로그 데이터를 활용하는 방식이 개인 정보 보호와 데이터 활용 측면에서 효율적이다.
단순 실력 측정이 아닌 성장 궤적(Trajectory)을 추적하는 것이 실무자에게 더 큰 가치를 제공한다.

논쟁점

LLM이 평가하는 엔지니어링 역량 점수가 실제 실력을 얼마나 정확하게 대변할 수 있는지에 대한 근본적인 의문이 있을 수 있다.

실용적 조언

Claude Code를 수개월 이상 꾸준히 사용한 후 이 도구를 실행하면 더 유의미한 데이터 추세를 확인할 수 있다.
Anthropic API 키를 설정할 때 프롬프트 캐싱이 활성화되어 있는지 확인하여 분석 비용을 최소화하라.

섹션별 상세

Claude Code가 로컬 경로에 저장하는 JSONL 형식의 트랜스크립트를 읽어 분석을 시작한다. 시스템은 각 세션을 LLM-as-a-judge 프레임워크를 통해 문제 분해, 시스템 사고, 디버깅 방법론, 기술 커뮤니케이션, 모델 리디렉션 등 5가지 차원에서 평가한다. 평가의 신뢰도를 높이기 위해 3회 투표(median-of-3) 방식을 채택하고 반드시 원문의 증거 구절을 인용하도록 강제한다.

분석 결과는 브라우저 기반의 대시보드와 CLI 도구인 devtraj를 통해 시각화된 차트로 제공된다. 사용자는 시간에 따른 도메인별 기술 궤적을 확인하며 자신의 코딩 습관이 어떻게 변화하고 있는지 파악할 수 있다. 특히 어떤 방식의 프롬프팅이 더 높은 점수를 얻었는지 분석하여 AI 협업 효율을 개선하는 지표로 활용 가능하다.

운영 비용 최적화를 위해 Anthropic API의 프롬프트 캐싱 기능을 활용하도록 설계되었다. 평가 루브릭을 캐싱하고 주당 3개 세션만 샘플링하는 방식을 통해 1년 치의 방대한 사용 기록도 한 자릿수 달러 비용으로 분석이 가능하다. 첫 실행 이후 추가되는 데이터는 새로운 주차의 세션만 처리하므로 유지 비용이 거의 발생하지 않는다.

이 도구는 사용자의 절대적인 실력을 측정하기보다 특정 도메인에서의 행동 양식을 파악하는 데 중점을 둔다. 숙련된 백엔드 엔지니어가 새로운 언어를 배울 때 주니어처럼 보일 수 있다는 점을 명시하며, 이는 오히려 사용자의 약점과 성장 가능 영역을 보여주는 유용한 신호가 된다. 작성자는 MIT 라이선스로 코드를 공개하고 커뮤니티의 피드백을 요청했다.

용어 해설

판사로서의 LLM(LLM-as-a-Judge): — 대규모 언어 모델을 사용하여 다른 AI 모델의 출력물이나 인간의 작업 결과물을 평가하는 기법이다. 사람이 직접 평가하는 대신 미리 정의된 루브릭(평가 기준)을 바탕으로 일관성 있고 자동화된 성능 측정이 가능하여 평가 비용과 시간을 대폭 단축한다.
프롬프트 캐싱(Prompt Caching): — 자주 사용되는 프롬프트의 컨텍스트를 API 서버에 저장하여 재사용하는 기술이다. 동일한 평가 기준이나 긴 문서를 반복해서 입력할 때 연산 비용을 줄이고 응답 속도를 높여주며, 특히 Anthropic API 사용 시 비용 절감 효과가 크다.
JSON 라인(JSONL): — 각 행이 하나의 유효한 JSON 객체로 구성된 텍스트 파일 형식이다. 대용량 로그 데이터나 트랜스크립트를 스트리밍 방식으로 처리하기에 적합하며, Claude Code의 세션 기록 저장 방식으로 사용된다.

언급된 도구

Claude Code추천

Anthropic에서 제공하는 CLI 기반 코딩 에이전트

eng-trajectory-analyzer추천링크

Claude Code 세션 데이터를 분석하여 기술 성장 궤적을 보여주는 대시보드 도구

언급된 리소스

GitHubeng-trajectory-analyzer GitHub Repository