MLflow AI Gateway를 활용한 LLM 에이전트 트레이싱

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

핵심 요약

코딩 에이전트는 내부적으로 프롬프트를 재작성하거나 시스템 프롬프트를 삽입하여 사용자가 실제 전송 내용을 파악하기 어렵다. MLflow AI Gateway를 프록시로 설정하면 코드 수정 없이 LLM 호출을 자동으로 트레이싱할 수 있다. 환경 변수 설정을 통해 Copilot CLI와 같은 도구의 요청과 응답을 MLflow UI에서 상세히 확인할 수 있다. 이 방식은 에이전트의 동작을 디버깅하고 토큰 사용량을 파악하는 데 유용하다.

대상 독자

LLM 기반 에이전트 및 CLI 도구를 개발하거나 운영하는 엔지니어

의미 / 영향

이 기술은 블랙박스 형태인 코딩 에이전트의 내부 동작을 가시화하여 개발자가 프롬프트 최적화와 오류 해결을 효율적으로 수행하도록 돕는다. 특히 별도의 코드 수정 없이 기존 도구에 트레이싱을 적용할 수 있어 운영 환경의 관측 가능성을 높인다.

섹션별 상세

코딩 에이전트는 복잡한 시스템 프롬프트와 도구 호출을 숨겨 디버깅을 어렵게 만든다.

MLflow AI Gateway를 사용하면 에이전트 코드 수정 없이 LLM 호출을 자동으로 로그로 남길 수 있다.

Copilot CLI의 경우 환경 변수(BASE_URL, TYPE, API_KEY, MODEL)를 설정하여 MLflow 게이트웨이로 요청을 우회한다.

bash

COPILOT_PROVIDER_BASE_URL
COPILOT_PROVIDER_TYPE
COPILOT_PROVIDER_API_KEY
COPILOT_MODEL

Copilot CLI를 MLflow AI Gateway로 연결하기 위해 설정해야 하는 환경 변수 목록

MLflow UI에서 트레이스 상세 정보를 확인하면 에이전트가 어떤 도구를 사용하고 어떤 프롬프트를 전송했는지 즉시 파악 가능하다.

MLflow UI에서 Copilot CLI의 LLM 호출 트레이스 목록을 보여주는 화면 — ScreenshotMLflow AI Gateway를 통해 수집된 LLM 호출 기록을 보여준다. 각 요청의 Trace ID, 요청 내용, 응답, 토큰 사용량, 실행 시간을 한눈에 파악할 수 있다.

단일 LLM 요청에 대한 상세 트레이스 정보 화면 — Screenshot입력된 프롬프트, 도구 호출 내역, 토큰 사용량 등 상세 정보를 보여준다. 에이전트가 내부적으로 어떤 프롬프트를 전송했는지 확인하여 디버깅에 활용할 수 있다.

실무 Takeaway

코딩 에이전트 디버깅 시 MLflow AI Gateway를 프록시로 활용하여 투명성을 확보한다.
환경 변수 설정을 통해 기존 에이전트 도구의 코드 변경 없이 트레이싱 기능을 도입한다.

언급된 리소스

문서Observability with eBPF and OTel