Breadcrumb: 에이전트 가시성을 위한 오픈소스 LLM 트레이싱 도구

섹션별 상세

기존 LLM 관측 도구들의 복잡성과 무거운 기능이 개발자들에게 진입 장벽이 되고 있다. Breadcrumb은 'Plausible'과 같은 단순함을 지향하며, 단 3줄의 코드 삽입만으로 에이전트의 모든 활동을 추적하기 시작한다. 이를 통해 LangFuse나 LangSmith 같은 엔터프라이즈급 도구의 비대함 없이도 핵심적인 가시성을 확보할 수 있다.

typescript

import { init } from "@breadcrumb-sdk/node";
import { initAiSdk } from "@breadcrumb-sdk/ai-sdk";

const bc = init({ apiKey, baseUrl });
const telemetry = initAiSdk(bc);

const { text } = await generateText({
  // ...
  experimental_telemetry: telemetry("summarize"),
});

Breadcrumb SDK를 사용하여 AI SDK와 통합하고 트레이싱을 시작하는 기본 예시 코드

Breadcrumb SDK를 사용한 TypeScript 코드 통합 예시 — Screenshot단 몇 줄의 코드로 트레이싱을 시작할 수 있음을 보여준다. @breadcrumb-sdk/ai-sdk를 통해 기존 AI SDK와 쉽게 연동되는 구조를 확인할 수 있다.

에이전트가 잘못된 도구를 호출하거나 무한 루프에 빠지는 등의 문제는 수동으로 발견하기 어렵다. Breadcrumb은 내부 LLM이 모든 트레이스를 실시간으로 분석하여 도구 호출 오류, 에이전트 루핑, 과도한 모델 크기 사용으로 인한 비용 스파이크를 자동으로 식별한다. 개발자가 인지하기 전에 잠재적인 장애 요인을 먼저 파악하여 대응할 수 있게 돕는다.

자동으로 감지된 에이전트 이슈 리스트 화면 — Screenshot비현실적인 단일 프롬프트 출력 요청이나 불충분한 타임아웃 설정 같은 문제를 AI가 자동으로 식별하여 경고한다. 각 이슈에 대한 구체적인 설명과 권장 해결책이 함께 표시된다.

트레이스 데이터에서 인사이트를 추출하기 위해 복잡한 쿼리를 작성하는 과정은 번거롭다. 사용자는 평이한 영어로 트레이스에 대해 질문할 수 있으며, 시스템은 이를 해석하여 즉각적인 차트와 시각화 자료로 응답한다. 데이터 분석 전문가가 아니더라도 에이전트의 성능과 비용 구조를 직관적으로 이해할 수 있는 환경을 제공한다.

에이전트 트레이스 시각화 대시보드 화면 — Screenshot에이전트의 각 단계별 실행 시간과 호출 관계를 트리 구조로 시각화하여 보여준다. 특정 단계의 입력값과 결과값을 우측 패널에서 즉시 확인할 수 있는 UI를 제공한다.

용어 해설

LLM 트레이싱(LLM Tracing): — LLM 애플리케이션의 실행 흐름, 입력과 출력, 지연 시간, 비용 등을 단계별로 기록하고 추적하는 과정이다. 복잡한 에이전트의 의사결정 과정을 투명하게 파악하여 디버깅과 성능 최적화를 가능하게 하는 핵심 기술이다.
관측 가능성(Observability): — 시스템의 내부 상태를 외부 출력을 통해 얼마나 잘 이해할 수 있는지를 나타내는 척도이다. LLM 분야에서는 모델의 응답 품질, 토큰 사용량, 오류 발생 지점 등을 실시간으로 모니터링하고 분석하는 능력을 의미한다.
에이전트 루핑(Agent Looping): — AI 에이전트가 목표를 달성하지 못하고 동일한 동작이나 잘못된 추론 과정을 반복하며 자원을 낭비하는 현상이다. 이를 조기에 발견하지 못하면 API 비용이 급격히 상승하므로 자동화된 감지 시스템이 필수적이다.

기술

Breadcrumb SDK
TypeScript
Plausible

활용 사례

LLM 에이전트 디버깅
실시간 비용 모니터링
에이전트 성능 시각화

언급된 리소스

문서Breadcrumb Website