RL이 LLM의 장기 추론 능력을 가르칠 수 있는가? 표현력이 핵심이다

LLM이 복잡한 다단계 추론에서 겪는 한계를 해결하기 위해 학습 데이터의 논리적 복잡도와 강화학습 효율 사이의 상관관계를 규명했다. 단순한 반복 학습보다 데이터의 논리적 표현력이 모델의 추론 능력 전이에 더 결정적인 역할을 한다는 사실을 입증하여 효율적인 사후 학습 방향을 제시한다.

기존의 LLM 강화학습은 수학이나 코딩처럼 결과가 명확한 데이터에 의존했으나, 문제의 난이도를 정밀하게 조절하기 어려워 학습 효율이 어떻게 변하는지 파악하기 힘들었다. 본 논문은 Transformer 기반 모델이 문장 간의 관계를 파악하는 Attention Mechanism을 활용할 때, 논리적 단계가 깊어질수록 필요한 연산 자원이 기하급수적으로 늘어나는 현상을 기초 개념으로 정의한다.

연구진은 '단순 함의'부터 '전칭 양화'를 포함한 복잡한 1차 논리까지 5단계의 표현력 계층을 설정했다. 논리 구조가 복잡해질수록 모델은 단순히 다음 단계를 예측하는 것을 넘어, 여러 전제를 동시에 조합하고 부정이나 선택지를 고려해야 하므로 학습 난이도가 비선형적으로 증가하게 된다.

결과적으로 논리적 표현력이 높은 데이터를 사용하면 모델이 더 고차원적인 추론 패턴을 학습하게 되어, 실제 수학 문제나 복잡한 논리 퀴즈를 풀 때 필요한 '체계적인 사고 방식'을 더 효과적으로 습득하게 된다. 이는 단순히 많은 양의 데이터를 학습시키는 것보다 논리적으로 풍부한 구조를 학습시키는 것이 지능 향상에 더 유리함을 의미한다.

SCALELOGIC은 역방향 증명 트리 구축 방식을 사용하여 데이터를 생성한다. 목표 결론에서 시작하여 전제들을 역으로 생성하며, 추론 깊이 D를 조절하여 모델이 거쳐야 할 논리적 단계의 수를 확정한다. [목표 결론 입력 → 역방향 규칙 생성 → 기초 사실 도달 → 고정된 깊이의 논리 경로 완성]

강화학습 알고리즘으로는 GRPO의 확장판인 DAPO를 사용한다. 모델이 생성한 여러 답변 중 정답 여부에 따라 보상을 부여하며, 그룹 내 상대적 이득을 계산하여 정책을 업데이트한다. [G개의 답변 생성 → 정답 여부 확인 → 그룹 평균 대비 이득 계산 → 정책 가중치 갱신]

학습 과정에서 논리적 표현력을 5단계(Implication-only, +Conjunction, +Negation, +Disjunction, +Quantification)로 구분하여 적용한다. 각 단계는 이전 단계의 기능을 모두 포함하는 상위 집합 구조로 설계되어, 특정 논리 연산자가 학습 효율에 미치는 영향을 격리하여 분석할 수 있게 한다.

모든 논리 설정에서 RL 학습 단계 T와 추론 깊이 D 사이의 멱법칙 관계(R^2 > 0.99)가 성립함을 확인했다. 지수 γ는 Implication-only에서 1.04로 거의 선형적이었으나, Quantification 단계에서는 2.60으로 급격히 상승하여 복잡한 논리일수록 깊이에 따른 학습 비용이 가파르게 증가함을 보여주었다.

다운스트림 벤치마크 평가에서 가장 높은 표현력(+Quantification)으로 학습한 모델은 베이스 모델 대비 평균 10.66%p의 성능 향상을 기록했다. 반면 표현력이 낮은 설정으로 학습한 모델은 학습 초기에는 성능이 오르다 조기에 정체되는 현상을 보였다.

커리큘럼 학습(Curriculum Training)을 적용했을 때 학습 효율이 크게 개선되었다. 쉬운 문제부터 단계적으로 난이도를 높여 학습한 경우, 고정된 난이도만 학습한 경우보다 멱법칙 지수 γ가 낮아져(2.60 → 2.30) 더 적은 연산으로도 깊은 추론 능력을 확보할 수 있었다.

본 연구는 RLVR(Reinforcement Learning with Verifiable Rewards) 환경에서 모델의 추론 지평 확장을 정량화했다. 아키텍처 측면에서는 Qwen3-4B와 8B 모델을 사용하여 모델 크기에 따른 확장성을 검증했으며, 더 큰 모델일수록 γ 값이 작게 나타나 추론 깊이에 대해 더 효율적으로 학습함을 입증했다.

논리적 표현력의 계층 구조는 명제 논리에서 1차 논리(First-order logic)로 확장되는 과정을 따르며, 특히 Disjunction과 Quantification이 도입될 때 조합 탐색 공간이 넓어져 학습 난이도가 급증하는 기술적 특성을 분석했다. 또한 OOD(Out-of-Distribution) 실험을 통해 학습 시 경험하지 못한 더 깊은 단계의 문제에 대해서도 성능이 선형적으로 확장되지만, 학습 깊이의 약 3배 지점에서 성능이 무작위 수준으로 수렴하는 한계 지점을 발견했다.

본 연구는 Qwen3-4B 및 8B 모델에 한정되어 수행되었으므로, 훨씬 더 거대한 파라미터를 가진 모델이나 다른 아키텍처에서도 동일한 멱법칙 지수가 유지되는지는 추가 검증이 필요하다. 또한 합성 데이터의 논리 구조가 실제 세계의 복잡한 다중 엔티티 관계를 완벽히 대체하기에는 여전히 단순할 수 있다는 점이 한계로 명시되었다.