Multilingual Reasoning Gym: 절차적 추론 환경의 다국어 확장

섹션별 상세

Multilingual Reasoning Gym은 기존 Reasoning Gym을 14개 언어로 확장하여 절차적으로 검증 가능한 추론 문제를 생성하는 환경을 제공한다.

94개 작업에 대한 템플릿을 번역하고 10개 언어에 대해 원어민 검증을 수행했으며, 언어적 자연스러움을 보장하기 위해 코드와 템플릿을 최적화했다.

절차적 생성 방식을 채택하여 문제의 난이도를 자유롭게 조절할 수 있으며, 사실상 무제한으로 새로운 문제 인스턴스를 생성할 수 있는 장점이 있다.

검증 가능한 보상을 기반으로 하는 강화학습(RLVR) 및 평가 설정에 즉시 적용 가능하여 모델의 추론 성능 향상에 기여한다.

모든 언어에 대해 병렬적인 문제를 생성할 수 있어, 대규모 다국어 병렬 데이터를 확보하고 교차 언어 추론 능력을 연구하는 데 유리하다.

절차적 생성(Procedural Generation): — 미리 정의된 알고리즘과 규칙을 사용하여 데이터를 자동으로 생성하는 기법이다. 이 아티클에서는 수동으로 데이터를 수집하는 대신 코드를 통해 무한한 추론 문제 인스턴스를 생성하는 데 활용된다.
검증 가능한 보상을 통한 강화학습(RLVR): — 모델의 출력이 정답인지 여부를 프로그래밍 방식으로 즉시 확인할 수 있는 환경에서 강화학습을 수행하는 방법이다. 추론 과정의 논리적 정확성을 객관적으로 평가하고 개선하는 데 필수적이다.
교차 언어 병렬 데이터(Cross-lingual Parallel Data): — 서로 다른 언어로 작성되었으나 동일한 논리적 구조나 의미를 공유하는 데이터셋이다. 다국어 모델이 한 언어에서 배운 추론 능력을 다른 언어로 전이하는 성능을 평가하고 학습시키는 데 사용된다.