arthi-arumugam-git의 whatbroke 저장소는 에이전트 실행 궤적을 비교해 동작 변화의 원인을 찾는 도구이다. 이 프로젝트는 JSONL 트레이스를 이용해 어떤 툴 호출이 어떤 인자와 순서로 발생했는지, 비용과 소요시간, 최종 출력을 비교하는 방식으로 동작한다. 저장소는 프록시 기록, OTel/GenAI 스팬 import, CI용 종료 코드 연동 같은 실무 통합 지점을 제공한다.

작성자는 도구가 회귀를 포착하면 사례 공유를 요청했고 프로젝트는 MIT 라이선스로 공개되어 재사용이 자유롭다. 게시물은 도구의 사용법과 통합 방법을 예시 명령으로 제시하고 있어 즉시 시도해볼 수 있는 성격을 띠었다. 커뮤니티 피드백을 수집하겠다는 문구가 있어 유지보수와 실무 적용 사례가 더해질 가능성이 열려 있다.

• CI 파이프라인에 회귀 감지를 자동으로 통합하려면 변경 전후 트레이스를 JSONL로 기록하고 whatbroke diff를 실행해 종료 코드로 실패를 감지하면 된다. 이 방식은 텍스트 기반 테스트만으로 놓치기 쉬운 툴 호출·인자 변화까지 포괄해 배포 전 회귀를 조기 차단할 수 있다. 또한 프록시 모드를 사용하면 애플리케이션 코드를 건드리지 않고 프로덕션 트래픽에서 바로 트레이스를 수집해 재현 가능한 증거를 확보할 수 있다.
• 비결정성 영향을 줄이려면 동일한 시나리오를 여러 번 기록해 flap rate를 산출하고 자주 변하는 요소를 자동으로 낮은 우선순위로 처리해야 한다. 이 과정은 반복 실행을 입력으로 받아 변동 항목을 분리함으로써 실질적 변경과 노이즈를 구분하는 근거를 제공한다. 반복 기록은 테스트 케이스명을 구분해 보관하면 나중에 원인 분석이 쉬워진다.
• 이미 OpenTelemetry 또는 Langfuse/LangSmith로 트레이싱을 하고 있다면 해당 내보내기를 whatbroke로 import해 기존 수집 파이프라인을 재사용하는 것이 도입 비용을 줄이는 방법이다. 이 접근법은 데이터 포맷 변환만으로 과거 프로덕션 데이터와 쉽게 비교할 수 있게 한다. 로컬에서 완전 오프라인으로 동작하므로 민감한 데이터 규정에 대응하기도 용이하다.

줄바꿈으로 구분된 JSON(JSONL)

— JSONL은 각 줄이 독립적 JSON 객체로 구성된 로그·트레이스 저장 형식이다. 에이전트 실행 기록을 시간 순서대로 기록하고 필터나 비교 도구로 손쉽게 병합하거나 부분 조회할 수 있다. whatbroke 맥락에서는 변경 전후의 실행 궤적을 같은 형식으로 보관해 차이를 계산하는 근거 데이터가 된다.

오픈텔레메트리(OpenTelemetry)

— OpenTelemetry는 분산 추적과 메트릭을 표준화해 수집하는 프레임워크로서 span과 trace를 통해 호출 흐름을 캡처한다. GenAI 관련 확장은 모델·툴 호출을 span 단위로 기록해 에이전트 행위 추적을 가능하게 한다. whatbroke는 OTel GenAI 스팬을 import하여 기존 추적 기반 워크플로와 연동할 수 있다.

변동률(Flap rate)

— flap rate는 동일한 시나리오를 여러 번 실행했을 때 결과나 호출 패턴이 달라지는 빈도를 나타내는 지표이다. whatbroke는 여러 번의 baseline 실행을 비교해 기존부터 변동하던 요소는 덜 중요하게 처리하고 실제 변경으로 인한 변화를 부각시킨다. 이 지표는 에이전트의 비결정성 노이즈와 코드 변경으로 인한 실제 회귀를 구분하는 데 중요하다.