(Multimodal) LLM-as-a-Judge 입문: 생성과 검증의 비대칭성 및 활용 사례

섹션별 상세

생성은 토큰 단위의 순차적 과정이나, 검증은 전체 출력을 종합적으로 평가할 수 있어 오류 탐지에 유리하다. 이러한 생성과 검증의 비대칭성은 평가 모델이 생성 모델보다 낮은 성능으로도 효과적인 판단을 내릴 수 있는 근거가 된다.

온라인 추론 단계에서 품질 제어, Best-of-N 선택, 에이전트 중간 단계 검증 등을 통해 실시간 서비스의 신뢰성을 높인다. 특히 에이전트 아키텍처에서는 각 단계의 행동을 검증하여 전체 프로세스의 오류를 조기에 차단한다.

오프라인 학습 단계에서는 고품질 데이터셋 필터링, 합성 데이터 생성, 강화학습을 위한 보상 함수 제공으로 모델 학습 효율을 개선한다. 인간 평가자의 한계를 넘어 대규모 데이터에 대한 자동화된 평가와 라벨링이 가능하다.

멀티모달 평가 모델은 텍스트 설명에 의존하는 대신 시각적 정보를 직접 인식해야 하며, 비디오 이해와 같은 복잡한 태스크에서 여전히 한계를 보인다. 최신 연구는 텍스트 기반 평가 모델보다 멀티모달 평가 모델이 시각적 정보 인식에서 우위를 점함을 입증한다.

위치 편향, 길이 편향, 자기 선호 편향을 방지하기 위해 후보 순서 무작위화, 신뢰도 기반의 인간 검토 전환(escalation)이 필수적이다. 평가 모델의 신뢰도가 낮을 경우 인간 검토로 전환하거나, 여러 모델의 합의를 사용하는 앙상블 방식을 도입한다.