agentsense: AI 에이전트의 실행을 로컬에서 기록하고 리플레이하는 관찰성 도구

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

TL;DR

에이전트가 잘못 동작할 때 내부 결정 과정을 확인하기 어려운 문제를 해결하기 위해 agentsense는 네트워크 수준의 투명한 MCP 프록시와 선택적 Python SDK로 모든 툴 호출, 입출력, 지연과 비용을 로컬에 기록한다. 기록된 트레이스는 외부 호출 없이 원본 툴 결과를 주입하여 다른 모델로 리플레이할 수 있으며 단계별 의사결정 궤적을 비교해 어디서 분기되는지 식별할 수 있다. 로컬 퍼스트 설계로 SQLite에 저장하고 PII를 제거하여 프라이버시를 유지하며 Ollama·OpenAI 호환·Bedrock 환경과 연동되고 Apache-2.0으로 배포되어 손쉽게 평가·통합할 수 있다.

실용적 조언

로컬 환경에서 에이전트 동작을 안전하게 재현하려면 agentsense의 프록시를 경로에 삽입해 트레이스를 수집한 뒤 리플레이를 통해 모델 교체 시 의사결정 차이를 확인할 수 있다. pip로 설치한 후 SQLite에 저장된 트레이스를 사용하면 외부 호출을 차단한 상태에서 행동을 비교할 수 있으므로 테스트 비용과 부작용을 줄일 수 있다. 개인식별정보 제거 설정을 우선 활성화해 민감 데이터가 로컬에 남지 않도록 해야 한다.

섹션별 상세

에이전트가 잘못 동작할 때 내부 결정 과정을 알기 어렵다는 문제를 해결하기 위해 agentsense는 네트워크 수준에서 동작하는 투명한 MCP 프록시를 도입했다. 클라이언트와 서버 사이에 프록시를 두어 별도 코드 변경 없이 모든 툴 호출, 입출력, 지연 시간, 비용 정보를 기록한다. Python SDK를 병행하면 추론 과정의 reasoning 단계와 LLM 호출까지 캡처할 수 있어 기록 범위를 확장한다. 이 접근은 실시간 환경을 건드리지 않고도 재현 가능한 로그를 생성해 디버깅과 감사가 가능하게 만든다.

모델 간 행동 차이를 판별하기 위해 agentsense는 기록된 트레이스를 다른 모델로 리플레이한 뒤 의사결정 궤적을 비교하는 워크플로를 제공한다. 리플레이 과정에서는 원본 툴 결과를 주입하여 외부 API 호출이나 비용, 부작용 없이 동일한 입력-출력 흐름을 재현한다. 예시로 한 모델이 get_weather를 호출한 반면 다른 모델은 get_forecast를 호출한 시점을 식별하는 형태로 분기점을 찾을 수 있다. 이 방식은 모델 교체나 정책 변경 시 어떤 결정 지점에서 행동이 달라지는지 정확히 추적하게 해준다.

데이터 프라이버시와 배포 단순화를 위해 agentsense는 로컬 퍼스트 설계를 채택하고 SQLite를 저장소로 사용하며 클라우드 회원 가입을 요구하지 않는다. 기록 전에 개인식별정보(PII)를 제거하도록 설계되어 로컬에 저장되더라도 민감 정보가 남지 않도록 했다. 이러한 설계는 민감 데이터를 외부에 전송하지 않으려는 환경에서 유용하며, 오프라인 디버깅과 내부 감사 목적으로 적합하다. 다만 로컬 전용 저장 구조는 중앙집중형 팀 협업 기능이나 원격 분석 기능이 기본 제공되지 않을 가능성이 있다는 실무적 고려를 남긴다.

도구 호환성과 배포 관점에서 agentsense는 Ollama와 OpenAI 호환 인터페이스, AWS Bedrock 호환 환경에서 동작한다고 명시했으며 Apache-2.0 라이선스를 채택했다. 사용자는 pip install agentsense-ai로 패키지를 설치하여 로컬에서 즉시 시험해볼 수 있고, GitHub 저장소에 코드와 스크린샷이 공개되어 검토·기여가 가능하다. 이러한 호환성과 허용적 라이선스는 기존 추론 스택에 손쉽게 통합하여 관찰성을 추가하는 경로를 제공한다. 초기 v0 단계라는 점에서 리플레이·디프 워크플로에 대한 피드백 수집이 진행 중이다.

용어 해설

MCP: — MCP는 프로토콜 수준에서 클라이언트와 서버 간 통신을 중계하는 프록시 역할을 하며, 요청과 응답의 도구 호출, 입출력, 지연 시간, 비용 정보를 가로채어 기록함으로써 에이전트의 동작을 관찰 가능하게 만든다. agentsense 문맥에서는 투명한 프록시가 별도 코드 변경 없이 트레이스를 생성하는 핵심 수단으로 쓰였다. 프록시는 원본 트래픽을 재생하거나 다른 모델과의 비교를 위한 입력으로 활용된다.
트레이스 리플레이(Trace Replay): — 트레이스 리플레이는 과거에 기록된 에이전트의 상호작용 로그를 동일한 또는 다른 모델로 재실행하면서 실제 외부 호출을 차단하고 기록된 툴 결과를 주입해 동작을 재현하는 기법이다. 이 방식은 비용과 부작용 없이 결정 경로를 재현하고 모델 간 행동 차이를 비교하는 데 사용된다. agentsense는 입력된 원본 툴 결과를 그대로 주입하여 리플레이를 수행한다고 명시했다.
궤적 디프(Trajectory Diff): — Trajectory Diff는 동일한 시작점에서 실행된 에이전트의 의사결정 경로들을 단계별로 비교하여 어느 시점에서 어떻게 분기했는지를 찾아내는 분석 방법이다. agentsense는 모델을 바꿔 리플레이한 후 의사결정 궤적의 차이를 추적하여 예컨대 서로 다른 툴 호출이 언제 발생했는지 식별한다고 밝혔다. 이 기법은 디버깅과 모델 비교의 정밀한 근거를 제공한다.
개인식별정보(PII) 가림 처리(PII Redaction): — PII 가림 처리는 저장 전 텍스트나 메타데이터에서 개인식별정보를 탐지해 제거하거나 마스킹하여 데이터 유출 위험을 줄이는 과정이다. agentsense는 기록 전에 PII를 제거한다고 명시하여 로컬 저장 시에도 민감정보가 남지 않도록 설계했다. 이 방식은 클라우드 전송을 피하는 로컬 우선 설계와 결합되어 프라이버시를 강화한다.
SQLite: — SQLite는 파일 기반으로 작동하는 경량 관계형 데이터베이스로서 별도 서버 없이 로컬 환경에 데이터를 저장하고 조회하는 데 사용된다. agentsense는 로컬 우선 저장소로 SQLite를 사용하여 클라우드 계정이나 원격 백엔드 없이 트레이스를 보관한다고 밝혔다. 이 선택은 오프라인 사용과 간단한 배포를 용이하게 한다.

코드 예제

bash

pip install agentsense-ai

agentsense 패키지를 설치하는 명령어 예시로, 로컬 환경에서 빠르게 도구를 시험해볼 수 있도록 제시된 인스톨 방법이다.

언급된 도구

Ollama중립

로컬/서버 기반 추론 런타임과 호환되는 inference 엔진

Bedrock중립

OpenAI 호환 인터페이스를 지원하는 추론 플랫폼

SQLite중립

로컬 트레이스 저장용 경량 관계형 데이터베이스

agentsense Python SDK중립링크

추론 단계의 reasoning과 LLM 호출을 추가로 캡처하기 위한 SDK

언급된 리소스

GitHubagentsense GitHub repository