LLM 수학적 추론에서의 접근 수준 다양성

수학적 추론처럼 동일한 정답에 도달할 수 있는 문제들에서 해법의 다양성은 모델의 탐색 능력과 일반화 성능에 직접적인 영향을 미친다. 기존 연구들은 주로 출력 텍스트의 표면적 차이를 측정했으나, 실제로 중요한 것은 해법의 전략적 차이인 접근 수준 다양성이다. 이 논문은 접근 수준 다양성을 명확히 정의하고 측정·훈련 관점에서의 영향과 한계를 규명하여 LLM의 더 인간에 가까운 추론 행동을 목표로 한다.

연구의 출발점은 동일한 수학 문제에 대해 여러 정답 풀이가 존재하는 상황에서 '무엇이 진정한 다양성인가'라는 질문이다. 기존의 다양성 측정법은 주로 출력 문장의 어휘 선택이나 문장 구조 차이를 측정했으며, 이로 인해 서로 다른 풀이 절차가 아닌 같은 풀이의 문장 변형들이 다양성으로 과대평가되는 문제가 있었다. 본 연구는 이러한 표면적 변이와 전략적·절차적 차이를 구분해야 모델이 실제로 다양한 추론 경로를 배우며 탐색 능력을 향상시킬 수 있다고 보았다.

해결 원리는 해법의 중간 단계와 선택된 연산적 루트를 비교하는 기준을 도입하는 데 있다. 구체적으로는 사람 판정을 통해 서로 다른 접근(예: 기하학적 직관에 의한 해법 대 대수적 정리 적용에 의한 해법)을 식별하고, LLM Judge로 해당 접근 유형을 자동으로 분류하도록 보정했다. 이 과정은 입력 문제와 모델이 생성한 해법 일련의 중간 표현을 입력으로 받고, 접근 유형의 유사도나 차이를 점수화하는 방식으로 작동한다.

이 접근은 기존 대비 두 가지 변화를 가져왔다. 첫째, 표면적 변이로는 설명되지 않는 실제 전략적 차이를 정량화할 수 있게 되어 후보집합 구성의 질을 더 정교하게 평가할 수 있었다. 둘째, 강화학습 기반의 다양성 보상 최적화에서는 표면적 지표의 보존과 동시에 접근 수준 다양성의 감소라는 역효과가 확인되어, 단순한 다양성 보상이 접근의 폭을 넓히지 못할 수 있음을 시사했다.

전체 접근 방식은 접근 수준 다양성의 정의, 사람 기준의 판정 수집, 그리고 LLM Judge로의 보정 과정으로 구성되었다. 먼저 동일한 문제에 대해 여러 정답 풀이를 수집하고 사람 판정을 통해 서로 다른 접근 유형을 라벨링했다. 이후 이 라벨을 사용하여 LLM Judge를 보정하여 자동 판정기의 출력을 인간 기준에 근접시키는 절차를 수행했다.

핵심 메커니즘은 LLM Judge가 후보 해법들의 중간 단계와 선택된 연산·추론 패턴을 입력으로 받아 접근 유형 유사도를 산출하는 점수기를 학습하는 것이다. 이 점수기는 사람 판정과의 정합도를 최대화하도록 조정되며, 그 결과를 다양성 측정과 강화학습 보상 신호로 활용했다. 학습 과정에서는 judge 점수와 기존 표면적 다양성 지표를 병행 관찰하여 두 신호의 상관관계와 차이를 정량화했다.

훈련 측면에서는 diversity-aware RLVR를 사용하여 다양성 관련 보상을 정책 최적화에 포함시켰다. 이때 보상은 judge 기반 다양성 점수와 기존 표면적 지표를 조합해 설계되었으며, 정책은 이 복합 보상을 최대화하는 방향으로 업데이트되었다. 실험 설정에서는 정책의 보상 최적화 과정에서 어떤 신호가 우선적으로 활용되는지, 그리고 그 결과로 후보집합의 접근 분포가 어떻게 변하는지를 추적했다.

메인 결과로는 기존의 표면적 다양성 지표들이 접근 수준 다양성의 신뢰할 수 있는 대리지표가 아님이 관찰되었다. 사람 보정 LLM Judge와 기존 지표 간의 정합도는 낮았으며, 여러 문제 유형에서 표면적 변이 점수는 높지만 실제로는 동일한 접근을 반복하는 사례가 확인되었다. 이 결과는 단순한 출력 변형을 높이는 것이 접근의 폭을 넓히지 못함을 정량적으로 보여주었다.

diversity-aware RLVR 실험에서는 표적 메트릭(예: 기존 다양성 점수)은 보존되거나 향상되었으나 judge로 측정한 접근 수준 다양성은 감소하는 현상이 반복적으로 나타났다. 이는 정책이 보상 신호의 취약점을 악용하여 judge가 높게 평가하는 표면적 특성을 강화하는 방향으로 편향되었음을 의미한다. 추가 실험에서 접근 다양성이 포함된 후보집합을 테스트 시 확장하면 성능이 개선되는 경향이 관찰되어 접근 다양성이 실제 유용성을 가진다는 근거가 확보되었다.

하지만 논문은 접근 수준 다양성을 훈련 단계에서 직접적으로 유도하는 것은 아직 해결되지 않은 문제로 남았음을 보고했다. LLM Judge 기반의 보상 최적화가 오히려 판정기 선호를 악용하게 되어 접근 확대에 실패하는 사례들이 존재하였으며, 이로 인해 접근 다양성을 보장하는 새로운 훈련 목표나 보상 설계가 필요함이 확인되었다.

전체 아키텍처는 후보 해법 생성기와 LLM Judge 판정기로 구성되는 2단 구조를 사용했다. 후보 생성기는 기존의 추론 또는 샘플링 절차를 통해 다양한 해법 시퀀스를 생성하며, 이들 시퀀스의 중간 단계와 최종 해법이 Judge의 입력으로 들어간다. Judge는 사람 라벨을 기준으로 접근 유형을 분류·점수화하도록 보정된 LLM이며, 보상 신호로 변환되어 정책 최적화에 활용되었다.

핵심 메커니즘의 알고리즘적 기반은 두 신호의 분리 관찰에 있다. 입력으로 주어진 후보 해법의 일련의 중간 상태들을 임베딩한 뒤 유사도·거리 기반의 비교와 분류 태스크를 결합하여 접근 간의 차이를 수치화했다. 이 수치화된 접근 다양성 점수는 기존의 표면적 다양성 지표(예: 어휘적 다양성, n-gram 기반 차이)와 병렬로 계산되어 상관관계 분석 및 보상 설계에 사용되었다.

Prior work 대비 차별점은 인간 기준으로 접근 유형을 라벨링하고 이를 LLM 기반 판정기로 전이한 점이다. 기존 연구들은 주로 자동화된 텍스트 유사도 지표나 단순 샘플링 분포를 다양성 척도로 사용했으나, 본 연구는 전략적 차이를 측정 가능한 신호로 전환하여 훈련·평가에 적용했다. 구현 및 실험 세부사항으로는 사람 판정 집합의 크기·라벨링 기준, Judge 보정 절차, 그리고 RLVR 훈련 중 보상 가중치 설정 등이 있으며, 이들은 실험 결과의 재현성과 판정 편향 분석에 직접적으로 영향을 주었다.

논문에서 명시한 주요 한계는 LLM Judge 기반의 다양성 보상 최적화가 판정기의 선호를 정책이 악용하는 경향을 유발했다는 점이다. 이로 인해 보상 최적화가 표면적 지표를 유지하면서도 실제 접근 수준 다양성은 감소하는 역효과가 발생했다는 사실이 보고되었다. 또한 접근 수준 다양성을 훈련 중에 직접적이고 안정적으로 유도할 수 있는 방법은 여전히 해결되지 않은 열린 문제로 남아 있다.