챕터별 상세
02:35
AI 에이전트 개발의 복잡성과 도전 과제
AI 에이전트는 출력이 자유 형식이고 예측 불가능하며, 품질 측정이 주관적이라 도메인 전문가의 개입이 필수적이다. 개발자는 비용, 지연 시간, 품질 사이에서 끊임없이 타협해야 하며, 프로덕션 배포 시 데이터 유출이나 비용 폭주와 같은 위험에 노출된다. 기존 소프트웨어의 유닛 테스트 방식만으로는 이러한 복잡성을 해결하기 어렵기 때문에 에이전트 특화 수명 주기 관리가 필요하다.
07:37
MLflow Tracing을 통한 관측 가능성 확보
mlflow.library.autolog() 함수를 호출하면 LangChain, LlamaIndex 등 40개 이상의 라이브러리에서 발생하는 실행 단계를 자동으로 기록한다. 입력 질의가 어떤 하위 에이전트로 라우팅되는지, 어떤 컨텍스트가 모델에 전달되는지 단계별 실행 트레이스를 UI에서 시각적으로 확인할 수 있다. 이를 통해 에이전트가 잘못된 답변을 내놓았을 때 어느 지점에서 로직이 꼬였는지 즉각적인 근본 원인 분석(RCA)이 가능하다.
09:11
전문가 피드백 수집 및 데이터셋 구축
MLflow는 도메인 전문가가 에이전트의 답변을 검토하고 '좋아요/싫어요' 및 상세 의견을 남길 수 있는 내장 리뷰 앱을 제공한다. 수집된 피드백은 실행 트레이스와 함께 저장되며, 개발자는 부정적인 피드백이 달린 트레이스만 필터링하여 분석할 수 있다. 이렇게 라벨링된 데이터는 이후 모델 개선을 위한 평가 데이터셋(Evaluation Dataset)으로 즉시 내보내기(Export)되어 테스트 케이스로 활용된다.
13:45
LLM-as-a-Judge를 활용한 평가 자동화
사람의 수동 검수를 확장하기 위해 LLM을 판사로 활용하여 정확성, 안전성, 관련성 등을 자동 평가한다. MLflow Assistant는 트레이스를 분석하여 라우팅 오류 등의 문제를 스스로 찾아내고 프롬프트 수정 제안까지 수행한다. 50개 이상의 내장 판사(Built-in Judges)를 제공하며, DSPy나 GEPA 같은 최적화 기법을 사용해 판사의 판단 기준을 사람의 선호도와 일치하도록 자동 정렬(Alignment)할 수 있다.
DSPy는 프롬프트를 프로그래밍 방식으로 최적화하는 프레임워크이며, GEPA는 일반화된 에이전트 평가 알고리즘을 의미한다.
python
import mlflow
mlflow.library.autolog() # Enable tracing for 40+ GenAI authoring libraries
agent = TelcoAgent()
# Traces are now automatically captured to MLflow단 한 줄의 코드로 40개 이상의 라이브러리에 대해 MLflow 트레이싱을 활성화하는 예시
17:17
AI Gateway를 통한 중앙 집중식 거버넌스
중앙 집중식 AI 게이트웨이를 통해 조직 내 모든 LLM API 호출에 대한 권한 관리, 속도 제한, 비용 제어를 수행한다. 모든 요청과 응답 페이로드를 로깅하여 데이터 유출 여부를 감사(Audit)하고 사용량 대시보드를 통해 토큰 소비량을 실시간 모니터링한다. 특정 모델 공급자에 장애가 발생할 경우를 대비한 폴백(Fallback) 설정과 트래픽 분할(Traffic Splitting) 기능을 통해 시스템 안정성을 보장한다.
19:03
향후 로드맵: 사용자 시뮬레이션 및 자동 이슈 발견
MLflow는 멀티 턴 대화 평가를 위한 챗봇 평가 기능을 출시했으며, 곧 LLM이 가상 사용자로 활동하며 에이전트를 테스트하는 '사용자 시뮬레이션' 기능을 도입할 예정이다. 이를 통해 사람이 직접 대화하지 않고도 레드팀(Red-teaming) 테스트를 자동화하여 취약점을 찾아낼 수 있다. 최종 목표는 로그만 남기면 시스템이 자동으로 문제를 발견하고 원인을 분석해주는 완전 자동화된 이슈 발견 제품을 구축하는 것이다.
python
from mlflow.genai.scorers import make_judge
is_formal = make_judge(
name="formality",
instructions="The outputs must be phrased in a formal manner. Rate as formal, semi-formal, or informal",
model="databricks/databricks-gpt-5-mini"
)특정 기준(격식체 여부)에 따라 출력을 평가하는 커스텀 LLM 판사를 생성하는 코드
용어 해설
- 관측 가능성(Observability)
- — 시스템의 내부 상태를 외부 출력을 통해 얼마나 잘 이해할 수 있는지를 나타내는 척도이다. AI 에이전트 맥락에서는 추론 과정의 각 단계(검색, 코드 실행 등)를 추적하여 문제의 근본 원인을 파악하고 성능을 최적화하는 데 필수적이다.
- 판사로서의 LLM(LLM-as-a-Judge)
- — 대규모 언어 모델을 사용하여 다른 AI 모델의 출력 품질을 평가하는 기법이다. 사람이 일일이 검수하기 어려운 대량의 데이터를 정확성, 안전성, 관련성 등의 기준에 따라 자동화된 방식으로 평가하여 개발 속도를 높인다.
- AI 게이트웨이(AI Gateway)
- — 애플리케이션과 여러 LLM 공급자 사이에서 통신을 중계하는 중앙 집중식 인터페이스이다. API 키 관리, 속도 제한(Rate Limiting), 비용 제어, 데이터 유출 방지(DLP) 등의 거버넌스 기능을 통합적으로 제공한다.
- 모델 컨텍스트 프로토콜(MCP)
- — AI 모델이 외부 데이터 소스나 도구와 상호작용할 때 사용하는 표준화된 통신 규약이다. 다양한 프레임워크와 도구 간의 호환성을 보장하여 에이전트가 더 넓은 생태계의 리소스를 활용할 수 있게 한다.
언급된 리소스
AI 분석 전체 내용 보기
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
원문 발행 2026. 05. 11.수집 2026. 05. 11.출처 타입 YOUTUBE
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.
