BERT-as-a-Judge: 효율적인 참조 기반 LLM 평가를 위한 렉시컬 방법의 강력한 대안

기존의 정규표현식(Regex) 기반 평가는 답변 형식이 조금만 달라져도 오답으로 처리하는 한계가 있고, LLM을 판사로 쓰는 방식은 비용이 너무 비싸다. 이 논문은 가벼운 BERT 모델을 활용해 문맥적 의미를 파악함으로써 저비용으로도 인간과 유사한 정확한 평가가 가능함을 입증했다.

기존 LLM 평가는 주로 정규표현식(Regex)을 사용하여 특정 형식 내의 텍스트를 추출하고 이를 정답과 대조한다. 하지만 모델이 '정답은 4입니다'라고 출력해야 할 때 '결과는 4'라고 답하면, 렉시컬 매칭 방식은 이를 파싱하지 못하거나 오답으로 처리하여 모델의 실제 문제 해결 능력을 왜곡한다. 이는 Transformer의 Self-Attention이 단어 간의 유연한 관계를 파악하는 것과 달리, 고정된 규칙에만 의존하기 때문에 발생하는 문제이다.

BERT-as-a-Judge는 이 문제를 텍스트 분류(Text Classification) 관점에서 접근한다. 질문과 참조 답변이라는 기준 정보가 주어졌을 때, 모델이 생성한 답변이 의미적으로 동일한지를 BERT의 양방향 문맥 파악 능력을 통해 판단한다. 이는 단순히 글자가 일치하는지를 보는 것이 아니라, 임베딩 공간에서 두 답변이 같은 의미를 지향하는지를 확인하는 원리이다.

결과적으로 수십 배 더 큰 LLM을 판사로 고용하지 않고도, 210M 파라미터 수준의 작은 인코더 모델만으로 정교한 의미 비교가 가능해진다. 이는 평가 과정에서의 연산 병목을 줄이면서도 인간의 판단 기준에 더 가까운 신뢰할 수 있는 벤치마크 결과를 제공한다.

전체적인 접근 방식은 질문(Q), 참조 답변(R), 후보 답변(C)을 하나의 시퀀스로 결합하여 BERT 모델에 입력하고, 최종적으로 정답(Correct) 또는 오답(Incorrect)을 분류하는 방식이다. 학습을 위해 Nemotron-Super-v1.5 모델을 사용하여 36개 모델이 생성한 답변에 대해 정답 여부를 라벨링한 1M 규모의 합성 데이터셋을 구축했다.

핵심 메커니즘은 EuroBERT 210M 모델을 기반으로 한 Fine-tuning이다. [CLS] 토큰 위치에 분류 헤드를 추가하고 Binary Cross-Entropy Loss를 사용하여 학습한다. [y(실제 라벨)와 p(모델 예측 확률)가 주어질 때 -(y*log(p) + (1-y)*log(1-p))를 계산하여] → [예측이 틀릴수록 큰 손실 값을 얻고] → [이 값을 최소화하도록 가중치를 업데이트하여] → [문맥적 유사성을 판단하는 최적의 경계선을 학습한다].

구현 상세 측면에서는 8개의 MI250x GPU를 사용하여 1 에폭 동안 학습을 진행했으며, 약 20 GPU 시간이 소요되었다. 특히 학습 데이터에 질문(Q)을 포함하는 것이 Context Extraction과 같은 태스크에서 성능 향상에 기여함을 확인했다. 또한 정규표현식 파싱이 실패할 때만 BERT-as-a-Judge를 사용하는 하이브리드 방식도 제안하여 효율성을 극대화했다.

BERT-as-a-Judge는 모든 벤치마크에서 렉시컬 베이스라인을 압도하는 성능을 보였다. 특히 ARC-Easy에서 99.7%, MMLU에서 98.5%의 정확도를 기록하며 지면상의 정답 라벨과 거의 완벽하게 일치했다. 복잡한 출력이 요구되는 GSM8K(98.8%)와 MATH(93.7%)에서도 높은 신뢰도를 유지했다.

효율성 분석 결과, Apple M1 CPU 기준 샘플당 약 200ms의 속도로 추론이 가능하여 대규모 평가에 적합함을 입증했다. 또한 100K 정도의 적은 합성 데이터만으로도 수학 및 객관식 문제에서 충분한 성능에 도달하는 높은 학습 효율성을 보였다.

LLM-as-a-Judge와의 비교에서, 0.6B 규모의 Qwen-3 모델을 판사로 썼을 때보다 210M 규모의 BERT-as-a-Judge가 더 높은 정확도를 기록했다. 이는 특정 평가 태스크에 특화된 작은 인코더 모델이 범용적인 대형 생성 모델보다 효율적이고 정확할 수 있음을 시사한다.

모델 아키텍처는 EuroBERT-210M을 백본으로 사용하며, 이는 유럽어권 언어에 최적화된 다국어 인코더 구조를 가진다. 입력 포맷은 '[CLS] Question [SEP] Reference [SEP] Candidate [SEP]' 구조를 취하여 세 정보 간의 상호 작용을 양방향 어텐션으로 처리한다.

기존의 BERTScore나 BLEURT와 같은 메트릭이 단순히 문장 간 유사도에 집중했다면, BERT-as-a-Judge는 '질문에 대한 정답 여부'라는 논리적 판단을 직접 학습했다는 점이 기술적 차별점이다. 실험을 통해 결정 임계값(Decision Threshold) 변화에도 성능이 매우 안정적임을 확인했으며, 이는 모델이 클래스 간 명확한 분리 경계를 학습했음을 의미한다.

학습 시 합성 라벨과 인간 라벨 간의 일치도가 97.45%에 달해 합성 데이터의 신뢰성을 확보했다. 또한 Out-of-domain 실험을 통해 학습에 사용되지 않은 새로운 모델 제품군(EuroLLM, Apertus 등)에 대해서도 높은 일반화 성능을 유지함을 증명했다.

본 연구는 객관적으로 검증 가능한 정답이 존재하는 영어 벤치마크에 국한되어 있다. 요약, 기계 번역, 코드 생성과 같은 개방형 생성(Open-ended generation) 시나리오나 다국어 환경에서의 성능은 아직 검증되지 않았다.