LightRace: 원격 도구 호출 기능을 갖춘 오픈소스 LLM 트레이싱 및 관측 플랫폼

섹션별 상세

CLI 기반의 간편한 자가 호스팅 설치를 지원한다. 복잡한 인프라 설정 없이 단일 명령어로 전체 서비스를 구동할 수 있는 환경을 제공한다. lightrace init과 start 명령어를 통해 PostgreSQL, Redis, Caddy를 포함한 모든 서비스를 컨테이너 기반으로 즉시 배포한다. 이를 통해 개발자는 로컬 또는 프라이빗 클라우드 환경에서 데이터 주권을 유지하며 관측 시스템을 운영할 수 있다.

근거

단일 명령어로 자가 호스팅이 가능하다. — Quick Start 섹션의 CLI 명령어 예시

원격 도구 호출(Remote Tool Invocation) 기능을 제공한다. 대시보드에서 코드 내에 정의된 도구 함수를 직접 실행하고 결과를 확인할 수 있는 차별화된 기능을 제공한다. SDK에서 @trace(type="tool") 데코레이터를 사용해 등록된 함수는 대시보드 UI에 노출되며, 개발자는 실시간으로 입력값을 수정하며 도구의 동작을 테스트할 수 있다. 이는 에이전트 시스템의 개별 컴포넌트를 독립적으로 디버깅하는 데 매우 유용하다.

Langfuse SDK와의 드롭인 호환성을 유지한다. 기존에 Langfuse를 사용하던 프로젝트에서 코드 수정 없이 호스트 URL과 API 키만 변경하여 즉시 전환할 수 있다. POST 기반의 JSON 배치 인젝션(v3)과 OpenTelemetry 기반의 OTLP(v4) 엔드포인트를 모두 지원하여 유연한 데이터 수집이 가능하다. 기존 생태계의 도구들을 그대로 활용하면서 LightRace의 고유 기능을 추가로 누릴 수 있는 구조이다.

근거

Langfuse v3 및 v4 SDK와 드롭인 호환성을 제공한다. — Langfuse Compatibility 섹션

실시간 스트리밍 및 계층적 트레이스 뷰어를 탑재했다. WebSocket과 Redis Pub/Sub을 결합하여 LLM의 추론 과정을 실시간으로 대시보드에 스트리밍한다. 트레이스 뷰어는 Root, Span, Generation, Tool, Chain 등 다양한 타입을 지원하며 토큰 사용량, 지연 시간, 비용 정보를 계층적으로 시각화한다. 이를 통해 복잡한 멀티 스텝 워크플로우에서 병목 지점을 빠르게 식별할 수 있다.

기술

Next.js 15
Hono
tRPC
Prisma
PostgreSQL
Redis
Caddy
Langfuse SDK

활용 사례

LLM 트레이싱
에이전트 도구 디버깅
비용 및 지연 시간 모니터링

언급된 리소스

GitHubLightrace CLI

GitHublightrace-python

GitHublightrace-js