번역에서 회복되다: 벤치마크 및 데이터셋의 자동 번역을 위한 효율적인 파이프라인

기존 다국어 벤치마크는 단순 기계 번역의 한계로 인해 문맥이 어긋나거나 정답이 유출되는 등 평가 신뢰도가 낮았다. 이 논문은 테스트 시점 연산 최적화 기법을 활용해 사람이 번역한 수준에 근접한 고품질 벤치마크를 자동으로 생성하는 프레임워크를 제시하여 다국어 AI 모델 평가의 정확도를 높인다.

LLM의 다국어 능력을 측정할 때 영어 벤치마크를 다른 언어로 번역해 사용한다. 하지만 기존의 단순 기계 번역은 질문과 선택지를 따로 번역하면서 문법적 성별이나 격 변화가 일치하지 않게 되어, 모델이 언어 능력이 아닌 문법적 힌트로 정답을 맞히는 '정답 유출' 문제를 야기한다. 이는 딥러닝 모델이 데이터의 통계적 패턴을 학습하는 특성상 평가의 무결성을 심각하게 훼손한다.

이 논문은 추론 시점에 연산량을 늘려 품질을 높이는 Test-time Compute Scaling 개념을 번역에 적용한다. 단순히 한 번 번역하고 끝내는 것이 아니라, 모델이 여러 개의 번역 후보를 만들고 스스로 검토 및 수정하게 함으로써 번역의 일관성을 확보한다. 이는 모델이 생성한 여러 Embedding 벡터들 중 가장 정교한 것을 선택하거나 정제하는 과정과 유사하다.

특히 제안된 T-RANK는 후보군을 무작위로 섞어 여러 번 순위를 매기게 하여 LLM의 고질적인 문제인 위치 편향(Positional Bias)을 극복한다. 이를 통해 모델은 각 후보의 장단점을 다각도에서 비교하며 최적의 번역문을 도출한다. 결과적으로 자동화된 프로세스만으로도 사람이 직접 검수한 수준의 자연스럽고 정확한 벤치마크를 생성할 수 있게 된다.

프레임워크는 네 가지 번역 모드를 지원한다. 단순 0-shot 번역인 SC(Self-Check), 여러 후보 중 최고점을 선택하는 Best-of-N, 후보들을 결합해 개선하는 USI(Universal Self-Improvement), 그리고 다회차 순위 기반의 T-RANK이다. 사용자는 언어의 난이도와 비용에 맞춰 적절한 모드를 선택할 수 있다.

T-RANK는 N개의 번역 후보를 생성한 뒤, 평가 모델이 이를 순차적으로 순위를 매기도록 한다. 이때 후보들의 위치를 매 라운드마다 변경하여 특정 순서에 있는 후보를 선호하는 편향을 제거한다. 최종적으로 모든 라운드의 순위를 합산하여 가장 높은 평균 순위를 기록한 후보를 선택하며, 필요시 추가적인 미세 조정을 거친다.

벤치마크 번역 시 질문과 선택지를 하나의 프롬프트 컨텍스트 안에 포함하여 번역한다. 이는 [입력: 질문+선택지 텍스트] → [연산: 통합 문맥 기반 번역] → [출력: 문법적 정합성이 유지된 번역문] 과정을 거친다. 이를 통해 선택지의 문법적 표지가 질문의 정답을 암시하는 오류를 방지하고, 전체적인 서사적 흐름을 보존한다.

FLORES 및 WMT24++ 벤치마크에서 COMET 점수를 측정한 결과, T-RANK와 USI 기법이 기존 베이스라인 대비 유의미한 성능 향상을 보였다. 특히 우크라이나어 번역에서 T-RANK는 0.845점을 기록하며 가장 높은 품질을 입증했다. 이는 단순 번역 대비 모델의 추론 능력을 극대화했을 때 번역 품질이 비례해서 상승함을 보여준다.

MMLU, Winogrande 등 주요 벤치마크를 8개 언어로 번역하여 기존 공개된 데이터셋(Global-MMLU 등)과 비교했을 때, 모든 언어에서 평균 0.94%~3.42%의 성능 향상을 확인했다. 특히 문맥 보존이 중요한 Winogrande에서 가장 큰 개선(+3.42%)이 나타났으며, 이는 정답 유출 문제를 효과적으로 차단했음을 의미한다.

Gemma 3, Qwen 3, Llama 3.1 등 다양한 크기의 모델로 테스트한 결과, 제안된 파이프라인으로 번역된 벤치마크에서 모델 간 성능 격차가 더 명확하게 드러났다. 이는 번역 오류로 인한 노이즈가 줄어들어 모델의 실제 능력을 더 정확하게 측정할 수 있게 되었음을 시사한다.

아키텍처는 데이터셋 모드와 벤치마크 모드로 나뉜다. 데이터셋 모드는 단순 텍스트 나열에 최적화되어 있으며, 벤치마크 모드는 QA 구조와 선택지 간의 논리적 연결성을 보존하기 위해 계층적 구조를 유지하며 번역을 수행한다.

T-RANK의 수학적 기반은 다회차 순차적 순위 결정 전략에 있다. N개의 후보에 대해 N라운드 동안 위치를 순환시키며 순위를 매기는데, 이는 평가 모델의 위치 편향(Positional Bias)을 평균화하여 제거하는 효과를 준다. 각 라운드에서 모델은 이전 라운드의 결과를 참조하지 않고 독립적으로 평가하여 객관성을 확보한다.

USI(Universal Self-Improvement)는 여러 후보의 장점만을 취합하는 Fusion-of-N 방식을 채택한다. 평가 모델이 각 후보의 강점을 식별하고 이를 하나의 완성된 문장으로 결합함으로써 단일 모델의 생성 한계를 극복한다. 이는 앙상블 기법을 생성적 모델링에 적용한 형태이다.

구현 측면에서 프레임워크는 OpenAI, Google Gemini 등 다양한 API와 호환되며, 오픈소스 모델을 위한 vLLM 서빙 엔진과도 연동된다. 이를 통해 연구자는 예산과 요구 품질에 따라 모델을 자유롭게 교체하며 파이프라인을 운영할 수 있다.

LLM 기반 평가 모델(Judge)의 성능에 결과 품질이 크게 의존하며, COMET과 같은 자동 평가 지표가 짧은 텍스트에서는 문법적 복잡성을 완벽히 포착하지 못할 수 있다. 또한 폐쇄형 모델 사용 시 API 비용과 속도 제한이 대규모 데이터셋 번역의 제약 사항이 될 수 있다.