자동화된 LLM 평가 도입 과정에서 판정자 프롬프트 드리프트로 발생한 품질 누락 사례

CPO 지시로 4주 안에 도입한 자동화된 LLM 평가 파이프라인은 GPT-4o를 판정자로 삼아 8차원 루브릭으로 각 배포를 점수화하는 방식으로 운영되었고 초기 3개월 동안 몇 건의 회귀를 잡아내며 유효성이 확인되었다. 그러나 ML 리드의 시스템 프롬프트 조정 이후 판정자는 8.7/10으로 통과시킨 배포가 있었고 그 배포는 약 3%의 사용자 흐름에서 전혀 다른 출력 형식이 발생해 고객지원 티켓으로 문제가 드러났다. 조사 결과 판정자 프롬프트는 Notion에, 모델 프롬프트는 PromptLayer에 분리 저장되어 프롬프트 드리프트가 발생했고 통합된 버전 관리로 옮긴 뒤에야 드리프트가 사전 노출되었다. 이 사례는 자동화된 판정자가 반복적 회귀 탐지에 유용하지만 훈련·검증에서 누락된 출력 형식이나 미묘한 품질 저하는 놓칠 수 있어 중앙화된 프롬프트 버전 관리와 인간 검토를 병행해야 한다는 실무적 교훈을 남겼다.