LLM 평가(Eval) 구축의 핵심은 도구가 아니라 측정할 항목 선정이다

주요 논점

01중립다수

평가 지표 구축 시 범용적인 벤치마크보다 실제 실패 사례 기반의 상향식 접근이 더 실질적인 성능 개선을 이끈다.

범용적인 평가 지표(정확도, 관련성)는 실제 사용자 경험을 반영하지 못해 잘못된 확신을 줄 수 있다. 저자는 초기 평가에서 지표 점수는 높았으나 실제 제품 성능은 낮았던 경험을 공유했다.

실패 사례 기반의 상향식(Bottom-up) 평가 방식이 효과적이다. 실제 사용자 로그에서 실패 사례를 수집하고, 이를 유형별로 분류하여 각 문제 상황에 맞는 구체적인 평가셋을 구축하는 방식이다.

평가셋은 작지만 구체적이어야 한다. 문제 유형별로 수십 개의 사례만으로도 충분하며, 이는 막연하고 거대한 범용 벤치마크보다 훨씬 실질적인 성능 개선 지표가 된다.

평가 도구 자체는 중요하지 않다. 핵심은 도구의 선택이 아니라, 실제 제품에서 발생하는 고통 지점을 반영하는 평가 케이스를 선정하는 것이다.