ProEval: 생성형 AI 평가를 위한 선제적 실패 발견 및 효율적 성능 추정

생성형 AI 모델의 성능 평가와 안전성 검증에 드는 막대한 비용과 시간을 획기적으로 줄여주는 프레임워크이다. 베이지안 통계와 전이 학습을 결합하여 아주 적은 수의 테스트만으로도 전체 성능을 정확히 예측하고, 모델이 취약한 특정 실패 지점을 지능적으로 찾아낸다.

기존의 AI 평가는 수천 개의 문제를 모두 풀어보게 한 뒤 평균을 내는 단순한 방식이었으나, 이는 추론 비용이 비싼 최신 모델에게는 비효율적이다. ProEval은 모델의 성능을 하나의 '함수'로 보고, 이 함수의 전체 적분값(평균 점수)을 구하기 위해 어떤 문제를 먼저 풀어보게 할지 전략적으로 선택한다.

핵심은 가우시안 프로세스(GP)를 사용하여 문제 간의 상관관계를 모델링하는 것이다. 예를 들어 '어려운 수학 문제 A를 틀린 모델은 비슷한 유형의 문제 B도 틀릴 가능성이 높다'는 지식을 기존 평가 데이터로부터 학습하여 사전 정보(Prior)로 활용한다. 이를 통해 모델이 몇 개의 문제만 풀어봐도 나머지 수천 개 문제에 대한 결과를 높은 확률로 예측할 수 있다.

나아가 단순히 평균 점수만 맞히는 것이 아니라, 모델이 특히 약한 영역(실패 영역)을 집중적으로 파고든다. 불확실성이 높거나 실패 확률이 높은 지점을 우선적으로 샘플링하여, 제한된 예산 안에서 모델의 잠재적 위험 요소나 오류 패턴을 더 많이 찾아내는 원리이다.

ProEval은 평가 점수 함수 f를 가우시안 프로세스로 모델링한다. f ~ GP(μ, k)에서 μ는 평균 함수, k는 커널 함수이다. [입력 텍스트/이미지 → 임베딩 추출 → GP 커널 연산 → 점수 예측 및 불확실성 출력] 순으로 동작한다.

성능 추정은 Bayesian Quadrature(BQ)를 통해 수행된다. 전체 테스트 셋에 대한 기대값 S = ∫ f(x)p(x)dx를 구할 때, GP 사후 분포로부터 유도된 분산을 최소화하는 입력 x를 탐욕적으로 선택한다. [현재까지의 평가 결과 → GP 업데이트 → 추정치 분산 계산 → 분산을 가장 많이 줄이는 다음 문제 선택] 과정을 반복하여 샘플 효율을 높인다.

실패 발견은 슈퍼레벨 셋 샘플링 전략을 사용한다. 획득 함수 α_SS(x) = I(μ(x) + βσ(x) ≥ λ) * k(x, x)를 정의한다. [예측 점수와 불확실성의 합이 임계치 λ를 넘는지 확인 → 해당 영역 중 불확실성 k(x, x)가 큰 지점 선택 → 실제 모델 평가] 순으로 계산하여 심각하면서도 다양한 실패 사례를 수집한다.

StrategyQA, GSM8K, MMLU 등 다양한 벤치마크에서 실험한 결과, ProEval은 랜덤 샘플링 대비 865배 적은 샘플만으로도 지면 진리(Ground Truth) 대비 ±1% 이내의 오차로 성능을 추정했다. 특히 BQ-SF(Score Features) 방식은 단 12회의 평가만으로도 높은 정확도에 도달하는 효율성을 보였다.

실패 사례 발견 측면에서는 기존 LLM 기반 생성 방식보다 2~5배 높은 실패 탐지율을 기록했다. 또한 BERTopic을 활용한 토픽 인식 합성(TSS)을 통해 발견된 실패 사례들의 의미적 다양성이 크게 향상되었음을 확인했다.

부정적 전이(Negative Transfer)를 방지하기 위해 GMM 클러스터링을 도입한 결과, 타겟 모델과 유사한 특성을 가진 모델들의 데이터만 선별하여 사전 정보를 구축함으로써 추정 오차를 최대 100배까지 줄일 수 있음을 입증했다.

ProEval의 아키텍처는 전이 학습된 GP 대리 모델을 중심으로 설계되었다. 사전 정보(Prior) 구축을 위해 두 가지 전략을 사용한다. 첫째, 동일 벤치마크 내 타 모델들의 점수 행렬에서 직접 공분산을 추출하는 SF(Score Features) 방식이다. 둘째, 텍스트/이미지 임베딩을 MLP로 가공하여 커널을 학습하는 TPF(Tuned Prompt Features) 방식으로, 이는 새로운 벤치마크에도 적용 가능하다.

수학적으로 BQ 추정치 S_hat은 GP 사후 평균의 가중 합으로 표현되며, 본 논문은 이 추정치가 무편향(Unbiased)임을 증명했다. 또한 오차의 상한(Bound)이 커널의 스케일과 역사적 모델의 수 N에 의해 결정됨을 이론적으로 제시했다.

실패 사례 합성을 위해 LLM 기반의 In-context Learning을 사용하며, 이때 발견된 'Hard' 예시들을 앵커로 활용한다. 특히 모드 붕괴(Mode Collapse)를 막기 위해 UCB1 알고리즘을 사용한 다중 암드 밴딧(MAB) 구조로 토픽을 선택하고, 선택된 토픽에 맞춰 실패 패턴을 전이시키는 계층적 샘플링 전략을 채택했다.

본 논문은 가우시안 관측 모델을 가정하여 계산적 효율성을 확보했으나, 실제 평가 데이터가 이진(Binary) 형태인 경우 베르누이/프로빗 링크 함수를 사용하는 비가우시안 GP 모델링이 더 적합할 수 있음을 언급했다. 또한 고품질 임베딩 모델에 대한 의존도가 성능에 영향을 미칠 수 있다.