LLM-as-a-Judge를 활용한 넷플릭스 쇼 시놉시스 평가

섹션별 상세

기존의 수동 시놉시스 평가는 수만 개의 타이틀을 처리하기에 비용과 시간 측면에서 한계가 명확했다. 넷플릭스는 이를 해결하기 위해 LLM을 평가자로 활용하는 LLM-as-a-Judge 방식을 도입하여 평가 프로세스의 확장성을 확보했다. 이 과정에서 인간 평가자의 기준을 LLM 프롬프트에 정교하게 이식하여 평가의 일관성을 유지했다.

평가 지표는 단순히 텍스트의 유창함을 넘어 문법적 정확성, 브랜드 보이스 일치도, 핵심 정보 포함 여부 등 구체적인 항목으로 세분화되었다. LLM은 각 지표에 대해 점수를 부여할 뿐만 아니라 구체적인 이유(Reasoning)를 함께 출력하도록 설계되어 평가 결과의 투명성을 높였다. 이를 통해 편집자들은 어떤 부분이 부족한지 즉각적으로 파악하고 수정할 수 있다.

LLM 평가의 신뢰성을 검증하기 위해 인간 전문가의 평가 결과와 비교하는 벤치마킹 과정을 거쳤다. 실험 결과 LLM은 특정 지표에서 인간과 80% 이상의 일치율을 보였으며, 반복적인 프롬프트 튜닝을 통해 편향성을 최소화했다. 특히 모호한 기준에 대해서는 Few-shot 예시를 제공하여 LLM의 판단 기준을 보정했다.

근거

LLM 평가 결과는 특정 지표에서 인간 전문가와 80% 이상의 높은 일치율을 기록했다. — Evaluation and Alignment 섹션의 실험 결과 데이터 출처

자동화된 평가 시스템은 콘텐츠 운영 파이프라인에 통합되어 실시간으로 품질 피드백을 제공한다. 시놉시스가 작성되는 즉시 LLM 평가가 수행되며, 기준 미달인 경우 자동으로 수정 제안이 생성되어 작업 시간을 단축한다. 이는 글로벌 시장을 타겟으로 하는 다국어 시놉시스 품질 관리에도 동일하게 적용될 수 있는 구조이다.

기술

LLM
Python
Netflix Tech Stack

활용 사례

콘텐츠 시놉시스 자동 평가
마케팅 문구 품질 검수
다국어 번역 품질 자동 모니터링

언급된 리소스

문서Evaluating Netflix Show Synopses with LLM-as-a-Judge

LLM-as-a-Judge를 활용한 넷플릭스 쇼 시놉시스 평가

섹션별 상세

기술

활용 사례

언급된 리소스

관련 토론

댓글

관련 기사

LLM-as-a-Judge 서베이

넷플릭스의 사내 LLM 서빙

관련 토론

댓글

관련 기사

LLM-as-a-Judge 서베이

넷플릭스의 사내 LLM 서빙