AI 에이전트 디버깅을 위한 오픈소스 도구 Rewind 공개

실용적 조언

멀티 에이전트 개발 시 각 단계의 입출력을 로컬에 캐싱하여 실패 시 해당 지점부터 재시작할 수 있는 환경을 구축하라.
프롬프트 수정 후에는 반드시 LLM-as-judge 등을 활용해 정량적 점수 변화를 확인하여 '운 좋게' 성공한 것인지 구분하라.

섹션별 상세

멀티 에이전트 시스템의 긴 실행 단계 중 특정 지점에서 발생한 오류를 수정할 때 전체 파이프라인을 재실행해야 하는 비용과 시간 문제가 제기됐다. 작성자는 30단계 에이전트 중 15단계에서 오류가 났을 때 앞선 14단계를 다시 실행하며 발생하는 API 비용과 대기 시간을 낭비로 규정했다.

실패 지점에서 분기하여 수정된 코드만 재실행하는 포크 및 리플레이 메커니즘이 구현됐다. 이전 단계의 데이터는 로컬 SQLite에 저장된 캐시에서 즉시 불러오고, 수정이 필요한 단계만 실제 API를 호출하여 결과를 확인하는 방식으로 작동한다. 이를 통해 비결정론적인 LLM의 특성 속에서도 특정 수정 사항의 효과를 격리하여 테스트할 수 있다.

LLM을 활용한 자동 진단 및 수정 제안 기능인 rewind fix 명령어가 추가됐다. 실패한 세션을 분석하여 원인을 파악하고 수정을 제안하며, 선택적으로 자동 포크 및 재실행 후 점수 측정까지 수행한다. 실제 테스트 결과 correctness 점수가 0.2에서 0.95로 상승하는 등 정량적인 개선 효과가 확인됐다.

기존 관측 도구와의 호환성을 위해 OpenTelemetry 표준을 지원하며 로컬 환경 우선 원칙을 고수한다. Rust로 작성된 단일 바이너리 형태이며 모든 데이터는 로컬 SQLite에 저장되어 외부 유출이 없다. Python SDK는 기존 클라이언트를 몽키 패칭하여 코드 한 줄로 기록을 시작할 수 있도록 설계됐다.

용어 해설

관측 가능성(Observability): — 시스템의 내부 상태를 외부로 출력되는 데이터(로그, 트레이스 등)를 통해 파악할 수 있는 능력을 의미한다. AI 에이전트 개발에서는 복잡한 실행 단계 중 어디서 오류나 할루시네이션이 발생했는지 추적하는 데 필수적이다.
비결정론성(Non-determinism): — 동일한 입력에 대해 매번 다른 결과가 나올 수 있는 성질을 뜻한다. LLM은 확률적으로 다음 토큰을 생성하기 때문에 같은 프롬프트라도 실행 시마다 응답이 달라질 수 있어 디버깅과 재현을 어렵게 만든다.
판사로서의 LLM(LLM-as-judge): — 사람 대신 고성능 LLM을 사용하여 다른 모델의 응답 품질이나 정확성을 평가하는 기법이다. 정량화하기 어려운 텍스트 응답에 대해 수치화된 점수를 부여함으로써 객관적인 성능 비교를 가능하게 한다.
몽키 패칭(Monkey-patching): — 실행 시간에 코드의 소스 수정 없이 모듈이나 클래스의 기능을 동적으로 변경하는 기법이다. 이 도구에서는 OpenAI나 Anthropic 클라이언트를 가로채어 별도의 설정 없이 실행 데이터를 기록하는 데 사용했다.

언급된 도구

Rewind추천

에이전트 실패 지점 포크, 수정 및 재실행 디버깅

Langfuse중립

에이전트 실행 트레이싱 및 관측

SQLite추천

로컬 데이터 저장소

언급된 리소스

GitHubRewind GitHub Repository