Amazon Bedrock AgentCore에서 커스텀 코드 기반 평가기 구축하기

섹션별 상세

01

에이전트의 출력은 JSON 스키마 준수, 수치 정확도, PII 보호 등 엄격한 비즈니스 규칙을 요구한다. 코드 기반 평가기는 LLM이 처리하기 어려운 결정론적 검증을 AWS Lambda를 통해 수행하여 에이전트의 신뢰성을 보장한다.

02

평가기는 TRACE, TOOL_CALL, SESSION 세 가지 레벨로 등록되어 에이전트의 생명주기 전반을 모니터링한다. TRACE 레벨은 개별 응답 검증, SESSION 레벨은 전체 대화의 워크플로 준수 여부를 확인하는 데 적합하다.

03

온디맨드 평가 모드는 개발 반복, 회귀 테스트, CI/CD 배포 게이트로 활용된다. 특정 세션을 동기적으로 평가하여 프롬프트나 툴 정의 변경이 에이전트 성능에 미치는 영향을 즉각적으로 확인한다.

04

온라인 평가 모드는 프로덕션 트래픽을 주기적으로 샘플링하여 CloudWatch 메트릭으로 결과를 발행한다. 이를 통해 품질 저하를 실시간으로 감지하고, 임계값 위반 시 알람을 설정하여 운영 안정성을 확보한다.

LLM 기반 평가(LLM-as-a-Judge): — LLM을 사용하여 다른 모델의 출력물이나 에이전트의 응답 품질을 평가하는 기법. 정성적인 답변의 유용성, 톤, 논리적 일관성을 판단하는 데 주로 사용된다.
오픈텔레메트리(OpenTelemetry): — 소프트웨어의 성능과 동작을 관측하기 위한 표준화된 프레임워크. 에이전트의 실행 과정에서 발생하는 스팬(span) 데이터를 수집하여 추적 및 분석을 가능하게 한다.
개인식별정보(PII): — 이름, 주민등록번호, 연락처 등 개인을 식별할 수 있는 정보. 에이전트가 응답 과정에서 이를 노출하지 않도록 탐지하고 차단하는 것이 보안 및 규정 준수의 핵심이다.