Caliper: 커스텀 메타데이터를 지원하는 자동 LLM 관측성 도구

사용자들은 코드 수정이 거의 없다는 점과 S3/DuckDB를 활용한 데이터 처리 방식의 간결함에 긍정적인 반응을 보였다.

• 무료 사용자와 유료 사용자 간의 모델 성능 체감 차이를 분석할 때 사용자 등급을 메타데이터로 활용하면 유용하다.
• 시스템 프롬프트 변경 전후의 효과를 비교하기 위해 프롬프트 버전을 메타데이터에 포함하여 기록하는 것을 권장한다.

관측성(Observability)

— 시스템의 외부 출력을 통해 내부 상태를 얼마나 잘 파악할 수 있는지를 나타내는 척도이다. LLM 애플리케이션에서는 토큰 사용량, 지연 시간, 비용 등을 모니터링하여 성능을 최적화하고 문제를 진단하는 데 필수적이다.

몽키 패칭(Monkey Patching)

— 런타임 중에 기존 모듈이나 클래스의 기능을 동적으로 수정하거나 확장하는 프로그래밍 기법이다. Caliper는 OpenAI와 Anthropic의 SDK를 몽키 패칭하여 개발자가 기존 코드를 수정하지 않고도 호출 데이터를 가로채 기록한다.

인스트루멘테이션(Instrumentation)

— 애플리케이션의 성능을 측정하거나 오류를 진단하기 위해 코드 내에 모니터링 도구를 삽입하는 과정이다. 자동 인스트루멘테이션은 개발자가 수동으로 로그 코드를 작성할 필요 없이 도구가 자동으로 지표를 수집하게 한다.