LangSmith만으로는 부족한 에이전트 평가: 실전 에이전트 테스트 전략

커뮤니티 반응

작성자의 문제 의식에 공감하며, 각자 사용하는 평가 도구(Promptfoo, Braintrust 등)와 LLM-as-judge 구현 방식에 대한 경험을 공유하는 분위기이다.

주요 논점

01중립다수

LangSmith는 트레이싱에는 탁월하지만, 복잡한 에이전트 동작의 사전 배포 평가에는 추가적인 도구와 커스텀 로직이 필요하다.

합의점 vs 논쟁점

합의점

단일 도구만으로는 에이전트의 모든 실패 모드를 커버하기 어렵다.
LLM-as-judge는 정성적 평가를 위한 필수적인 패턴이다.

논쟁점

평가 플랫폼(Braintrust 등)을 사용할 것인가, 직접 커스텀 평가 파이프라인(Promptfoo + LLM judge)을 구축할 것인가에 대한 선호 차이.
LLM-as-judge의 인간 평가자 대비 일관성 및 보정 문제 해결 방법.

실용적 조언

필수 단계 누락 방지를 위해 langchain.evaluation의 trajectory 평가기를 도입하라.
압박 상황에서의 에이전트 동작 검증을 위해 적대적 프롬프트 테스트를 추가하라.
정성적 품질 평가를 위해 LLM-as-judge 패턴을 활용하라.

섹션별 상세

LangSmith의 기본 평가 기능은 에이전트의 도구 선택 오류, 무한 루프, 적대적 입력에 대한 취약점 등 프로덕션에서 발생하는 구체적인 실패 모드를 포착하는 데 한계가 있다.

langchain.evaluation의 trajectory 평가기를 사용하여 에이전트의 도구 호출 경로를 검증하고, 필수 단계를 건너뛰거나 잘못된 순서로 도구를 호출하는지 확인한다.

적대적 프롬프트 세트를 구성하여 에이전트가 압박 상황에서 프로세스를 포기하거나 시스템 프롬프트를 유출하는지 테스트하여 견고성을 확보한다.

LLM-as-judge 패턴을 도입하여 단순 boolean 체크로 확인하기 어려운 대화의 일관성과 정성적 품질을 평가하며, 이는 기존의 정적 평가 방식보다 복잡한 에이전트 동작 검증에 효과적이다.

언급된 도구

LangSmith중립

에이전트 트레이싱 및 기본 평가

Promptfoo추천

프롬프트 회귀 테스트 및 적대적 테스트

Phoenix중립

에이전트 트레이스 관측성

Braintrust추천

평가 플랫폼

TestMu중립

에이전트 간 테스트