구멍 메우기: 다국어 번역을 위한 강화학습에서의 리워드 해킹 완화

저자원 언어 번역에 필수적인 고품질 병렬 데이터가 부족한 한계를 극복하기 위해 단일 언어 텍스트만으로 학습 가능한 강화학습 프레임워크를 제시한다. 기존 품질 평가 모델의 취약점을 보완하여 모델이 입력을 단순히 복사하거나 엉뚱한 언어를 생성하는 리워드 해킹 문제를 해결함으로써 다국어 LLM의 실용성을 높였다.

기존의 다국어 번역 모델 학습은 'A 언어 문장과 그에 대응하는 B 언어 번역문' 쌍이 대량으로 필요하지만, 소수 언어는 이러한 데이터가 매우 희귀하다. 이를 해결하기 위해 번역 품질을 스스로 평가하는 모델(QE)을 보상으로 삼아 강화학습을 시도했으나, 모델이 QE 모델의 허점을 파고들어 번역 대신 입력 문장을 그대로 반복하거나 엉뚱한 언어로 답하면서 높은 점수만 따내는 리워드 해킹 현상이 발생했다.

WALAR는 이러한 QE 모델의 눈을 속이지 못하도록 두 가지 물리적 제약 조건을 보상 함수에 추가했다. 첫째, '단어 정렬'은 입력 문장의 단어들이 출력 문장에 의미적으로 적절히 매핑되었는지 임베딩 유사도로 검사하여 내용 누락이나 환각을 방지한다. 둘째, '언어 식별'은 결과물이 목표로 한 언어 규격에 맞는지 검증하여 다른 언어가 섞이는 것을 원천 차단한다.

이 방식을 통해 병렬 데이터가 전혀 없는 언어 쌍에서도 모델이 스스로 번역의 규칙을 학습하게 되었으며, 학습 과정에서 보지 못한 언어 조합에 대해서도 번역 능력이 전이되는 강력한 일반화 효과를 거두었다.

WALAR는 단일 언어 데이터셋(WMT News Crawl)을 소스 문장으로 활용하며, GRPO(Group Relative Policy Optimization) 알고리즘을 통해 모델을 최적화한다. 모델이 생성한 여러 후보 번역문들에 대해 하이브리드 리워드를 계산하여 상대적으로 우수한 결과에 더 높은 가중치를 부여하는 방식이다.

보상 함수 r(x, y)는 세 가지 핵심 요소로 구성된다. 기본 점수는 MetricX-24-Hybrid 모델을 통해 산출하며, 여기에 BGE-M3 임베딩 기반의 단어 정렬 점수(r_wa)를 가중치 alpha=20으로 결합한다. 만약 GlotLID와 MaskLID로 검사한 언어 식별 결과(r_la)가 목표 언어와 다를 경우, 해당 샘플에는 즉각 최저 점수(-25)를 부여하여 학습에서 배제한다.

단어 정렬 점수는 소스 문장 x와 생성 문장 y의 각 토큰 임베딩 간 코사인 유사도를 계산하여 정렬 행렬을 생성한다. [입력 임베딩 → Dot Product → Softmax → 정렬 쌍 추출] 과정을 거쳐 F1 스코어를 산출하며, 이는 모델이 소스 내용을 얼마나 충실히 담았는지(Recall)와 불필요한 내용을 추가하지 않았는지(Precision)를 수치화하여 보상에 반영한다.

FLORES-101 데이터셋의 1,414개 번역 방향에서 평가한 결과, LLaMAX3-8B-Alpaca 모델에 WALAR를 적용했을 때 spBLEU 점수가 기존 17.27에서 19.49로 상승했다. 특히 xCOMET* 점수는 64.97에서 71.34로 개선되어 인간의 평가와 유사한 품질 향상을 입증했다.

저자원 언어 성능에서 특히 두드러진 성과를 보였다. 스와힐리어(Swahili) 번역의 경우 LLaMAX의 xCOMET* 점수가 54.00이었으나 WALAR 적용 후 60.31로 상승했으며, 언어 일관성 비율(LCR)은 83%에서 100%에 근접하는 수준으로 개선되었다.

학습 과정에서 직접적으로 노출되지 않은 언어 방향(Unseen directions)에 대해서도 일관된 성능 향상이 관찰되었다. 이는 WALAR가 특정 언어 쌍의 단순 암기를 넘어 범용적인 다국어 번역 메커니즘을 강화함을 시사한다.

GRPO 프레임워크를 채택하여 별도의 가치 모델(Value Model) 없이도 그룹 내 상대적 보상을 통해 효율적인 정책 업데이트를 수행한다. 이는 메모리 사용량을 최적화하면서도 안정적인 강화학습을 가능하게 한다.

단어 정렬 점수 r_wa는 소스-타겟 임베딩 간의 상호 유사도를 기반으로 한 F1 스코어로 정의된다. P(x, y) = |WA|/n, R(x, y) = |WA|/m (n, m은 각각 타겟/소스 길이) 공식을 통해 과번역(Over-translation)과 미번역(Under-translation)을 수학적으로 페널티화하여 리워드 해킹을 방지한다.

언어 정렬 단계에서는 단순한 언어 식별기를 넘어 MaskLID를 도입했다. 이를 통해 문장 내에 소스 언어 단어가 섞여 들어가는 코드 스위칭 현상을 정밀하게 감지하고, 해당 세그먼트를 마스킹한 후 GlotLID로 최종 검증하는 2단계 필터링 구조를 갖췄다.

학습은 Qwen3-8B, LLaMAX3-8B-Alpaca, Translategemma-4B-it 등 다양한 디코더 전용 모델에 적용되었으며, 5개의 NVIDIA A6000 GPU 환경에서 1024 배치 사이즈와 5e-7의 학습률로 진행되었다.

품질 평가 모델(QE) 자체가 가진 근본적인 한계를 외부 점수로 보완하는 방식이므로, 보조 점수(Word/Language alignment)의 가중치 설정(alpha)에 따라 성능 편차가 발생할 수 있다.