monday.com의 AI 에이전트 평가 기반 개발 프레임워크 구축 사례

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

핵심 요약

AI 에이전트의 자율성은 강력하지만 추론 과정의 미세한 변화가 결과에 큰 영향을 미칠 수 있어 체계적인 평가가 필수적이다. monday.com은 개발 초기 단계부터 평가를 통합하는 'Day 0' 전략을 채택하여 오프라인과 온라인 두 가지 계층의 평가 체계를 구축했다. Vitest와 LangSmith를 결합해 평가 속도를 8.7배 향상시켰으며, 평가 로직을 코드로 관리하는 'Evaluations as Code' 방식을 도입했다. 이를 통해 수백 개의 테스트 케이스를 수 분 내에 처리하고 프로덕션 환경의 멀티턴 대화 품질을 실시간으로 모니터링한다.

배경

LLM 에이전트 및 ReAct 패턴에 대한 기본 이해, LangChain 및 LangSmith 사용 경험, Vitest 등 JavaScript/TypeScript 테스트 프레임워크 지식

대상 독자

프로덕션 환경에서 AI 에이전트를 개발하고 성능 평가 체계를 구축하려는 엔지니어 및 팀장

의미 / 영향

이 사례는 AI 에이전트의 불확실성을 제어하기 위한 실질적인 엔지니어링 방법론을 제시한다. 특히 평가 속도 최적화와 코드 기반 관리 방식은 대규모 LLM 애플리케이션의 유지보수 비용을 낮추고 배포 안정성을 높이는 데 기여할 것이다.

섹션별 상세

AI 에이전트의 추론 체인 특성상 발생하는 연쇄적인 오류를 방지하기 위해 오프라인과 온라인 평가의 이중 구조를 설계했다. 오프라인 평가는 '안전망' 역할을 하며 골든 데이터셋을 기반으로 도구 호출, 검색 정확도 등을 테스트하고, 온라인 평가는 '모니터' 역할을 하며 실제 프로덕션 트레이스를 실시간으로 분석한다.

monday.com의 서비스 워크포스 에이전트 아키텍처 다이어그램 — Diagram에이전트 클라이언트(Gmail, Slack 등)로부터 입력을 받아 LangGraph 기반 에이전트가 지식 베이스와 티켓 시스템을 활용해 응답하며, 모든 트레이스가 LangSmith로 전송되는 전체 흐름을 보여준다.

개발자 경험을 개선하기 위해 Vitest와 LangSmith를 통합하여 평가 프로세스를 병렬화하고 최적화했다. CPU 집약적인 작업은 Vitest의 'forks' 풀을 사용해 병렬 처리하고, I/O 대기 시간이 긴 LLM 호출은 'ls.describe.concurrent'를 통해 동시성을 확보함으로써 전체 평가 시간을 162초에서 18초로 단축했다.

LangSmith의 데이터셋 및 실험 관리 화면 스크린샷 — Screenshot사용자 정보, 서비스 컨텍스트, 기밀성 등 다양한 테스트 케이스별로 구성된 데이터셋과 각 데이터셋에 대해 수행된 수백 건의 실험 이력을 관리하는 UI를 보여준다.

Vitest를 활용한 오프라인 평가 병렬 처리 플로우차트 — DiagramJSONL 데이터셋을 N개로 분할하여 Vitest 풀을 통해 병렬로 실행하고, 각 실행 내에서 LLM 평가 함수를 동시적으로 호출하여 성능을 최적화하는 과정을 상세히 설명한다.

평가 함수는 결정론적 검증과 LLM 기반 평가의 두 단계로 구성된다. 하드 어설션을 통해 응답 스키마와 상태 유지를 확인하는 동시에, OpenEvals와 AgentEvals 같은 라이브러리를 활용해 답변의 정확성과 지식 베이스 근거 유무를 수치화하여 객관적인 지표를 산출한다.

평가 로직을 코드로 관리하는 'Evaluations as Code(EaC)' 개념을 도입하여 평가자(Judge)를 TypeScript 객체로 정의한다. 이를 통해 프롬프트 수정 시 코드 리뷰를 거치게 하며, 커스텀 CLI를 통해 CI/CD 파이프라인에서 LangSmith 플랫폼으로 자동 배포 및 동기화하는 워크플로우를 구현했다.

typescript

// conversation-analysis.ts
export const conversationAnalysis = new MultiSignalEvaluationPrompt({
  name: 'conversation-analysis',
  variables: ['all_messages'],
  modelConfig: {
    model: 'gpt-5.2-pro',
    reasoning: {
      effort: 'high'
    }
  },
  extractionFields: [
    new ExtractionField({ key: 'human_handoff', type: 'boolean', includeComment: true }),
    new ExtractionField({ key: 'meaningful_interaction', type: 'boolean', includeComment: true }),
    new ExtractionField({ key: 'is_automated_resolution', type: 'boolean', includeComment: true }),
    // ... additional atomic signals
  ],
  systemPrompt: `You are an expert conversation analyst...`,
  humanPrompt: `Analyze the following conversation: {{{all_messages}}} `,
});

평가 로직을 코드로 관리하는 Evaluations as Code(EaC) 방식의 TypeScript 정의 예시

프로덕션 환경에서는 LangSmith의 'Multi-Turn Evaluator'를 사용하여 개별 응답이 아닌 전체 대화의 흐름을 평가한다. 사용자 만족도, 톤, 목표 달성 여부 등 고차원적인 비즈니스 신호를 측정하며, 비활성 창 설정을 통해 세션 종료 시점을 판단하고 샘플링을 통해 비용을 최적화한다.

LangSmith의 평가자 생성 메뉴 화면 — Screenshot멀티턴 대화 평가(Evaluate a multi-turn conversation)를 포함하여 LLM 기반, 코드 기반, 복합 평가자 등 다양한 유형의 평가 도구를 선택할 수 있는 인터페이스를 보여준다.

멀티턴 평가자 설정 상세 화면 — Screenshot대화 세션의 종료를 판단하는 유휴 시간(Thread Idle Time) 설정과 샘플링 비율 등을 조정하여 프로덕션 환경에 적합한 평가 규칙을 정의하는 과정을 보여준다.

실무 Takeaway

AI 에이전트 개발 시 평가를 마지막 단계가 아닌 개발 초기(Day 0)부터 통합하여 품질 이슈를 사전에 차단해야 한다.
Vitest의 병렬 처리와 LangSmith의 동시성 기능을 결합하면 LLM 평가 피드백 루프 속도를 8배 이상 높여 개발 생산성을 극대화할 수 있다.
평가 로직을 코드로 관리(EaC)하고 CI/CD 파이프라인에 통합함으로써 평가 인프라의 일관성과 추적성을 확보할 수 있다.

언급된 리소스

문서LangSmith Vitest Integration

GitHubOpenEvals GitHub