LangSmith만으로는 부족한 에이전트 평가: 실전 에이전트 테스트 전략

작성자의 문제 의식에 공감하며, 각자 사용하는 평가 도구(Promptfoo, Braintrust 등)와 LLM-as-judge 구현 방식에 대한 경험을 공유하는 분위기이다.

• 필수 단계 누락 방지를 위해 langchain.evaluation의 trajectory 평가기를 도입하라.
• 압박 상황에서의 에이전트 동작 검증을 위해 적대적 프롬프트 테스트를 추가하라.
• 정성적 품질 평가를 위해 LLM-as-judge 패턴을 활용하라.

• 에이전트 평가 시 트레이싱만으로는 부족하며, Trajectory 테스트와 적대적 테스트를 병행해야 한다.
• 정성적 평가가 필요한 다중 턴 대화는 LLM-as-judge 패턴이 효과적이다.
• Promptfoo, Braintrust, TestMu 등 다양한 도구를 목적에 맞게 조합하여 평가 파이프라인을 구성하는 것이 권장된다.