eval-index
평가 인덱스
모델별로 균일한 입력 항목을 돌려 결과 토큰·응답 특성 등을 측정해 정리한 데이터 집합 또는 벤치마크를 의미한다. 이 글에서는 Artificial Analysis(AA)의 eval index에서 제공한 모델별 출력 토큰 합계를 발화량 프록시로 사용했고 인덱스 버전 차이가 결과 해석에 영향을 미쳤다. 인덱스는 실무 작업 트레이스와는 다를 수 있어 주의가 필요하다.
중급
평가 인덱스
모델별로 균일한 입력 항목을 돌려 결과 토큰·응답 특성 등을 측정해 정리한 데이터 집합 또는 벤치마크를 의미한다. 이 글에서는 Artificial Analysis(AA)의 eval index에서 제공한 모델별 출력 토큰 합계를 발화량 프록시로 사용했고 인덱스 버전 차이가 결과 해석에 영향을 미쳤다. 인덱스는 실무 작업 트레이스와는 다를 수 있어 주의가 필요하다.