TL;DR

PandaProbe는 에이전트 실행의 트레이스 수집과 LLM 기반 자동 평가를 통합한 오픈소스 플랫폼이다. 플랫폼은 SDK·FastAPI·Redis·Celery·PostgreSQL 기반의 비동기 파이프라인을 통해 트레이스 인제스트와 평가 작업을 큐잉하고 워커가 이를 처리하여 결과를 영속화하는 아키텍처로 구성되어 있다. 클라우드 서비스와 Docker 기반의 셀프호스트 옵션을 모두 제공하므로 개발 환경에서 로컬 검증과 운영 환경으로의 이관이 용이하다. 다만 README에 성능 벤치마크나 운영 비용 수치가 제시되어 있지 않으므로 대규모 프로덕션 적용 전 자체 검증이 필요하다.

핵심 포인트

• 통합된 트레이스와 평가 파이프라인을 제공한다. 단일 플랫폼에서 스팬 수집, 큐잉, 워커 처리, LLM 기반 판정자 호출까지 연속적인 흐름을 지원하므로 별도 파이프라인을 직접 조합할 필요가 줄어든다. 외부 에이전트 프레임워크와의 연동 지점을 문서로 연결해 기존 스택에 통합하기 쉬운 구조를 취한다.
• 클라우드와 셀프호스트를 동시에 지원한다. 관리형 PandaProbe Cloud를 제공하여 빠른 시작이 가능하고, 로컬 환경은 Docker 기반 start.sh로 재현성이 높은 배포를 제공한다. 이중 지원으로 개발 단계와 운영 단계에서 동일한 관찰성 워크플로우를 유지할 수 있다.
• 트레이스를 수집하고 저장한다. SDK 및 HTTP 클라이언트를 통해 에이전트의 실행 스팬을 수집한 뒤 Redis 큐를 통해 비동기 처리로 전달한다. 처리된 트레이스는 PostgreSQL에 영속화되어 대시보드와 API로 조회 가능하다.
• 자동 평가 파이프라인을 실행한다. Eval 요청은 Redis에 작업을 넣고 Celery 워커가 LLM을 판정자로 호출하여 verdict와 score를 생성한 뒤 결과를 DB에 저장한다. 이 과정은 평가 작업의 비동기성과 재시도를 지원한다.

이미지 분석