nexa-gauge: LLM 및 LVLM 출력을 위한 그래프 기반 평가 시스템

섹션별 상세

nexa-gauge는 ad-hoc 방식의 수동 검사를 대체하는 그래프 기반 평가 파이프라인이다. 입력 데이터를 정규화하고, 선택된 타겟에 필요한 노드만 실행하며, 이전 노드 출력을 캐싱하여 재사용한다.

LLM-as-a-judge 방식을 채택하여 relevance(입력-출력 정렬), grounding(컨텍스트 근거), redteam(안전성), geval(루브릭 기반 판단) 등 다각적인 메트릭을 제공한다.

run과 estimate 두 가지 운영 모드를 지원한다. estimate 모드는 실행 전 비용을 계산하여 예산 관리를 가능하게 하며, run 모드는 최종 평가 아티팩트를 생성한다.

캐싱은 경로 인식(route-aware) 및 결정론적 방식으로 작동한다. 입력, 프롬프트, 모델 경로가 변경되지 않으면 캐시를 재사용하여 지연 시간을 줄이고 재현성을 보장한다.