AI 생성기가 실제로 개선되고 있는지 어떻게 확인할 것인가

세일즈포스는 반복적으로 발생하는 코드 리뷰 코멘트를 조직적 지식으로 남기기 위해 메타 스킬 생성기를 도입했고, 이 생성기는 사용자 의도에서 SKILL.md와 참조 파일을 포함한 완전한 스킬 디렉터리를 자동으로 출력해 리뷰 규약을 실행 가능한 형태로 변환한다. 생성기 도입으로 일부 기여자의 병합 시간이 세 날에서 이틀로 단축되는 등 기본 구조 관련 코멘트가 줄어들었고 리뷰어들은 더 미묘한 품질 문제에만 집중할 수 있게 되었다. 생성기의 향상도를 증명하기 위해 세일즈포스는 서로 다른 실패 유형을 포착하는 세 단계 평가 체계를 도입했으며 첫 단계는 경쟁 스킬 다수가 로드된 환경에서 20개 쿼리로 트리거 활성화를 검증하는 트리거 정확도 테스트, 두 번째 단계는 CI 수준의 구조적 검증으로 구성되어 다양한 증거를 결합해 실전에서의 유효성을 확보하려 했다.