MLflow AI Gateway를 활용한 LLM 에이전트 트레이싱

섹션별 상세

01

코딩 에이전트는 복잡한 시스템 프롬프트와 도구 호출을 숨겨 디버깅을 어렵게 만든다.

02

MLflow AI Gateway를 사용하면 에이전트 코드 수정 없이 LLM 호출을 자동으로 로그로 남길 수 있다.

03

Copilot CLI의 경우 환경 변수(BASE_URL, TYPE, API_KEY, MODEL)를 설정하여 MLflow 게이트웨이로 요청을 우회한다.

bash

COPILOT_PROVIDER_BASE_URL
COPILOT_PROVIDER_TYPE
COPILOT_PROVIDER_API_KEY
COPILOT_MODEL

Copilot CLI를 MLflow AI Gateway로 연결하기 위해 설정해야 하는 환경 변수 목록

04

MLflow UI에서 트레이스 상세 정보를 확인하면 에이전트가 어떤 도구를 사용하고 어떤 프롬프트를 전송했는지 즉시 파악 가능하다.

트레이싱(Tracing): — 시스템 내에서 발생하는 요청의 흐름과 처리 과정을 기록하는 기술이다. LLM 환경에서는 에이전트가 전송한 프롬프트, 도구 호출, 모델의 응답 등을 추적하여 디버깅과 성능 분석에 활용한다.
AI 게이트웨이(AI Gateway): — 여러 LLM API 호출을 중계하고 관리하는 프록시 서버이다. API 키 관리, 요청 로깅, 트레이싱, 속도 제한 등의 기능을 제공하여 애플리케이션과 모델 간의 통신을 제어한다.
관측 가능성(Observability): — 시스템의 내부 상태를 외부에서 파악할 수 있도록 로그, 메트릭, 트레이스 데이터를 수집하고 분석하는 능력이다. 복잡한 에이전트 시스템에서 문제 발생 시 원인을 파악하는 데 필수적이다.