이성 너머의 회상: 강화학습이 LLM의 파라메트릭 지식 회상을 해방시키다

대형 언어 모델의 파라메트릭 지식을 직접 회상하는 능력은 훈련 데이터의 범위를 넘어선 한계가 있었다. 본 연구는 비-CoT 조건의 직접 지식 회상을 대상으로 RL을 적용해, 훈련-시간 및 추론-시간 baselines를 능가하는 일관된 향상을 입증한다. RL은 새로운 지식을 주입하는 것이 아니라, 잠재된 지식을 출력 분포의 테일에서 더 잘 활용 가능하도록 재분배한다.

1. 문제 정의: 비-CoT 설정에서 질의 q에 대해 모델이 최종 답을 직접 출력하도록 하고, 정답 여부로만 보상을 주는 이진 보상을 사용한다. 2) 학습 원리: GRPO 기반의 RL 알고리즘으로, rollout 그룹 간 보상을 비교하여 advantage를 추정한다. 보상은 의미적으로 평가된 정답 여부로 결정되며, reward hacking 위험을 낮추기 위해 LLM-judge를 사용한다. 3) 핵심 메커니즘: RL은 출력 분포의 질량을 재배치하여, 처음에는 낮은 확률에 위치하던 올바른 답을 점차 상위에 올려놓는다. 4) 데이터의 역할: pre-RL에서 접근성 낮은 사실일수록 RL에 의해 회복될 확률이 커지며, inaccessible@128 사실은 전체 RL 이득의 주된 기여자다. 5) 결론: RL은 파라메트릭 지식을 새로 얻는 도구가 아니라, 이미 존재하는 기억에 더 쉽게 접근하게 만드는 제어 파이프라인이다.

1. 문제 설정: zero-shot, one-hop, closed-book QA에서 모델이 최종 답만 제시하도록 하며, 정답은 이진 정확도로 판단한다. 2) 알고리즘: GRPO를 사용하며 rollout 그룹 간 보상을 정규화하여 advantage를 계산한다. 보상은 이진(정답 여부)이며, 정답 여부는 semantic verifier인 LLM-judge를 통해 판단한다. 3) 데이터/평가: NQ, TriviaQA, PopQA, SimpleQA에 대해 train/val/test 분할; 데이터 중복 제거를 위한 두 단계 dedup 파이프라인(임베딩 기반 후보 검색 + LLM-기반 의미적 판정) 적용. 4) 모델/하이퍼파라미터: 모델은 Qwen2.5-7B, Llama-3.1-8B-Instruct, OLMo-2-7B-Instruct; 학습률 1e-6, 배치 크기 128, 8 에폭, rollout 그룹 크기 n=5, KL 규제 β=0.001, PPO clip 0.2. 5) 생성: 디폴트 디코딩은 greed; 다수의 확률 샘플이 필요한 분석에선 동일한 RL 롤아웃 설정을 사용. 6) 계산 자원: 8x NVIDIA A100(80GB) GPU, 총 약 80시간.

주요 벤치마크에서 RL의 효과가 가장 두드러지며, 네 가지 모델-데이터셋 조합에서 RL의 Post-RL 정확도는 다음과 같다. Llama-3.1-8B: TQA 69.89, NQ 46.39, PQA 31.44, SQA 4.74; OLMo-2-7B: TQA 65.85, NQ 36.91, PQA 27.48, SQA 4.33; Qwen2.5-7B: TQA 59.94, NQ 34.12, PQA 22.27, SQA 3.88. 비교 기준(Base)은 Llama: 63.54/30.15/23.52/5.43; OLMo: 54.86/22.79/21.07/3.56; Qwen: 49.39/21.42/16.96/4.15. DPO/RFT/SFT 대비 RL의 평균 절대 향상은 약 10% 포인트 수준이며, NQ의 경우 최대 15포인트 이상 개선된다. 테스트-타임 스케일링(majority voting, CoT)은 RL만큼 일관된 개선을 제공하지 못한다. 벤치 간 전이(교차 데이터셋)에서도 유의한 정확도 향상이 관찰되며, SimpleQA를 제외한 대부분의 교차-데이터셋 쌍에서 RL의 개선이 지속된다. 4) 샘플링 예시: k=1 또는 k=2에서의 post-RL 정확도는 pre-RL에서 k=16/32를 필요로 하는 수준으로 대응하며, 256까지 확장 시 pre-RL과 post-RL 간 격차는 감소한다. 5) 데이터-기반 분석: inaccessible@128 팩트가 전체 RL 이득의 약 83%를 차지하며, PA(Partially Accessible)와 IA(Inaccessible@128) 조합이 전체 이득을 달성하는 데 가장 큰 기여를 한다. 6) 모델 규모/아키텍처: 72B 규모의 Qwen 계열에서도 대체로 비슷한 절대 향상을 보이며, MoE 아키텍처에서도 유의미한 이득이 재현된다.

아키텍처 차원: GRPO 기반의 정책 최적화로, rollout 그룹 내부의 보상을 비교해 상대적 이점을 업데이트한다. 보상은 이진 정확도이며, 정답 여부는 LLM-judge를 통한 의미적 검증으로 판단한다. 데이터 구성은 네 가지 벤치마크(NQ, TriviaQA, PopQA, SimpleQA)에서 train/validation/test를 구성하고, 테스트 데이터와 학습 데이터 간 사실 단위 중복을 제거하는 fact-level deduplication을 수행한다. Stage1은 임베딩 기반 후보 추출(코사인 유사도 상위 10개)이고, Stage2에서 학술적 의미를 확인하는 LLM-judge로 후보를 제거한다. 하이퍼파라미터는 학습률 1e-6, 글로벌 배치 128, 8 에폭, 그룹 크기 n=5, KL 규제 β=0.001, PPO clip 0.2를 채택한다. 평가에서는 greedy decoding과 pass@k(k=256)로 성능을 분석하며, reward의 신뢰도 확보를 위해 Qwen2.5-72B-Instruct를 unified judge로 사용한다.

SimpleQA 벤치처럼 초기 정확도가 매우 낮은 경우 RL의 보상 희소성으로 인해 이득이 제한될 수 있다. 또한 LLM-judge에 의한 보상 할당은 reward-hacking의 위험이 존재할 수 있으나, 인간 평가와의 agreement 분석에서 신뢰도가 충분히 확보되었고, post-RL 출력의 정밀도도 상승했다. 데이터 deduplication은 테스트-팩트를 과도하게 제거하지 않는 선에서 엄격히 수행되었다.