이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.
TL;DR
Salesforce의 Agentforce Vibes 팀은 자체적으로 MCP 도구를 구축하던 파편화된 개발 방식에서 벗어나 LangChain과 LangSmith를 도입하여 평가 표준을 확립했다. LangSmith를 통해 코드 배포 전 대규모 평가를 수행하고, 지시 이행, 일관성, 사실성, 배포 가능성 등 전사적 평가 기준을 표준화했다. 이를 통해 1억 줄 이상의 수락된 코드라는 성과를 달성하며 개발 효율성과 코드 품질을 동시에 확보했다.
챕터별 상세
00:00
MCP 도구 구축의 문제점
Salesforce 팀은 자체적으로 MCP 도구를 구축하여 메타데이터와 컴포넌트를 생성했다. 각 팀이 개별적으로 도구를 개발하면서 일관된 품질 보장이 어려워지는 문제가 발생했다. 생성된 코드의 출력 결과가 기대치에 부합하는지 확인하는 과정이 비효율적이었다.
00:22
에이전트 출력 품질 보장
팀은 에이전트가 생성하는 코드의 품질을 보장해야 하는 과제에 직면했다. 각 팀이 독립적으로 도구를 개발하면서 평가 기준이 파편화되었다. 출력물이 기대한 대로 작동하는지 검증하는 표준화된 방법론이 필요했다.
00:35
LangChain과 LangSmith 도입
팀은 LangChain과 LangSmith를 도입하여 평가 프로세스를 개선했다. LangSmith를 활용해 대규모 테스트 케이스를 실행하고, 코드 배포 전 품질을 검증하는 체계를 마련했다. 이를 통해 각 팀이 개별적으로 도구를 개발하던 파편화된 구조에서 벗어났다.
00:53
대규모 평가 수행
LangSmith를 사용하여 코드 배포 전 대규모 평가를 수행했다. 수천 개의 테스트 케이스를 실행하여 코드의 문제점을 사전에 파악했다. 이를 통해 고객에게 코드가 전달되기 전에 품질을 확보했다.
01:19
전사적 평가 표준화
지시 이행, 일관성, 사실성, 배포 가능성 등 전사적인 평가 표준을 설정했다. 모든 팀이 동일한 기준을 사용하여 모델의 성능을 측정했다. 이를 통해 팀 간의 평가 결과가 일관성을 유지하게 되었다.
01:40
1억 줄의 코드 성과
Agentforce Vibes는 1억 줄 이상의 수락된 코드라는 이정표를 달성했다. LangSmith를 단일 평가 도구로 사용하여 생성된 코드의 품질을 보장했다. 개발 팀은 반복적인 재작업 없이 일관된 구조와 테스트 기준을 적용했다.
용어 해설
- MCP
- — AI 모델이 외부 데이터나 도구와 상호작용하기 위한 표준화된 프로토콜이다. Salesforce 팀은 초기 단계에서 각 팀이 자체적으로 MCP 도구를 구축하여 메타데이터와 컴포넌트를 생성했으나, 이로 인해 품질 관리의 파편화 문제가 발생했다.
- Evaluation
- — AI 모델의 출력물 품질을 측정하는 과정이다. 지시 이행, 일관성, 사실성, 배포 가능성 등을 기준으로 모델의 성능을 정량적으로 검증하며, 프로덕션 환경 배포 전 필수적인 단계로 활용된다.
언급된 리소스
AI 분석 전체 내용 보기
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
원문 발행 2026. 07. 24.수집 2026. 07. 24.출처 타입 YOUTUBE
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.
