프리트레이닝에서 포스트트레이닝까지 추론 능력의 이해

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

TL;DR

프리트레이닝과 포스트트레이닝(RL)의 계산 분배가 대형 모델 훈련에서 실용적 의사결정 기준이 되었다는 점에서 본 논문은 실용적 함의를 가진다. 체스처럼 단계별로 정답이 검증되는 환경을 사용해 두 단계의 상호작용을 정량화함으로써 어느 정도의 사전학습이 있어야 RL이 효율적으로 작동하는지 판단 가능한 기준을 제공했다. 연구 결과는 제한된 총 계산량 아래에서 RL에 투자할 비율이 예측 가능하게 변화함을 보여 실제 훈련 자원 할당에 직접적인 시사점을 남긴다.

왜 중요한가

핵심 기여

체스 기반의 통제된 프리트레이닝-포스트트레이닝 테스트베드 구축

인간 게임으로 프리트레이닝한 autoregressive 모델, 합성된 체스 형태의 Chain-of-Thought 기반 SFT, 정답 라인으로 검증되는 퍼즐 환경에서의 RL을 연계한 파이프라인을 구성했다. 이 구조는 단계별 행동을 토큰 수준에서 엄밀히 검증할 수 있으므로 프리트레이닝과 RL 효과를 구분하는 데 적합했다. 다양한 모델 크기와 프리트레이닝 토큰 수를 체계적으로 탐색할 수 있도록 데이터·평가 세트를 분리하고 난이도별 퍼즐을 마련했다.

프리트레이닝·RL의 결합 스케일링 법칙 도출

프리트레이닝 검증 손실이 고정된 RL 계산에서의 최종 pass@1 성능을 강하게 예측했고 프리트레이닝 토큰 수가 RL 보상 곡선 기울기와 양의 상관을 보였다. 이를 근거로 R(C_RL,N,T)=f(L_pt(N,T))+g(N,T)(log10 C_RL−log10 C_ref) 형태의 로그-선형 모델을 제안했다. 이 법칙을 Chinchilla식 손실 예측과 결합해 가상 훈련 레시피의 계산-최적 프론티어를 탐색했다.

정책 변화 메커니즘의 세부적 규명

RL 후 정책 변화는 단순한 '모드 샤프닝'만으로 설명되지 않았고 퍼즐 난이도에 따라 세 가지 양태가 공존했다. 쉬운 퍼즐에서는 SFT가 이미 선호하던 정답을 강화하는 '정답 증폭'이 우세했고 어려운 퍼즐에서는 낮은 확률의 정답을 꺼내오는 '테일 발견'과 잘못된 모드를 강화하는 '오류 증폭'이 모두 관찰되었다. 이 관찰은 pass@1 개선과 pass@k(큰 k) 결과의 차이를 이해하는 핵심적 근거가 됐다.

텍스트 도메인으로의 정성적 이전 증거

체스에서 관찰된 예측 패턴을 수리 도메인 학습에도 적용해 1B 모델의 체크포인트(10B–200B 토큰)에서 유사한 연관성이 도출되었다. 프리트레이닝 손실이 동일 RL 계산 하에서 높은 post-RL 성능을 예측했고 프리트레이닝 토큰 수가 RL 학습 속도 기울기와 양의 상관을 유지했다. 이 결과는 체스에 한정된 현상이 아니라 더 넓은 도메인에도 일부 일반화될 수 있음을 시사했다.

계산 자원 배분 관점의 실제적 권고

합성 법칙으로부터 추정한 전역 프론티어에서 총 계산량이 커질수록 RL에 할당할 최적 비율이 증가하는 경향이 확인됐다. 낮은 총 계산 환경에서는 프리트레이닝에 더 많은 비중을 두는 것이 유리했고 고계산 환경에서는 RL 비중을 늘리는 편이 최종 pass@1을 더 잘 끌어올렸다. 이 결과는 예산 제약 상황에서 사전학습과 경험학습 중 어디에 우선 투자할지 결정하는 실무 가이드라인을 제공한다.

핵심 아이디어 이해하기

프리트레이닝 단계는 모델의 초기 정책 분포와 후보 제안 능력을 형성하는 역할을 한다. 다음 토큰 예측으로 최적화된 사전학습은 후보들의 확률 질서를 만들고, 이 질서는 후속 SFT와 RL에서 출발점이 된다. 따라서 동일한 RL 계산을 주더라도 시작 지점이 더 낮은 손실을 가진 체크포인트일수록 더 높은 최종 성능에 도달할 가능성이 커진다.

방법론

연구는 세 단계 파이프라인을 사용했다. 첫 번째 단계에서 인간 체스 게임의 위치-이동 시퀀스를 81개 어휘로 토크나이즈하여 autoregressive next-token objective로 다양한 모델 크기에서 프리트레이닝을 수행했다. 두 번째 단계에서는 프리트레이닝 모델을 제안 모델로 삼아 가능한 진행을 샘플링하고 공통 접두사를 병합해 깊이우선 직렬화한 합성 reasoning trace를 만든 뒤 최종 정답 시퀀스를 이어붙여 SFT를 진행했다. 세 번째 단계에서는 퍼즐 환경이 제공하는 정확한 정답 라인과 일치하는지로 보상을 판정하는 verifiable reward를 적용해 GRPO로 RL 최적화를 수행했다.

주요 결과

프리트레이닝 손실이 작을수록 고정된 RL 계산 수준에서의 post-RL pass@1 성능이 높게 나타났다. 프리트레이닝 토큰 수는 RL 보상 곡선의 지역적 기울기와 양의 상관을 보였고 토큰 수가 많을수록 같은 배수의 RL 계산 증가에 대해 더 큰 성능 향상이 관찰됐다. 계산 예산이 작을 때는 프리트레이닝 비중이 높은 레시피가 최적화된 성능을 보였으나 예산이 클수록 RL 비중을 늘린 레시피가 더 우수한 결과를 제공하는 전환점이 발견됐다. 난이도별 정책 변화 분석에서는 쉬운 퍼즐에서의 정답 증폭과 어려운 퍼즐에서의 테일 발견 및 오류 증폭이 공존해 RL의 효과가 문제 난이도에 따라 이질적임이 확인됐다.

기술 상세

모델 아키텍처는 논문에서 Qwen3 계열의 dense 아키텍처를 사용하며 실험은 5M에서 1B 파라미터까지 10개 규모로 수행되었다. 체스 표현은 SAN·UCI 양식을 차용해 각 수를 네 토큰(piece, source, destination, flag)으로 인코딩했고 전체 어휘 크기는 81이다. 이러한 토큰 직렬화로부터 유효 접두사가 유일한 보드 상태를 결정하도록 설계했다.

한계점

논문은 체스를 통제된 시험대(testbed)로 사용했기 때문에 자연어 LLM에 대한 일반화는 제한적일 수 있다. RL이 잘못된 모드를 강화하는 현상이 관찰되어 pass@1 향상에도 불구하고 대규모 k-샘플 커버리지 개선이 항상 보장되지 않는다. 합성 스케일링 법칙은 본 연구의 계산 범위와 난이도 구간에서 관찰된 지역적 경향을 기술하며 모든 규모와 도메인에서 보편적으로 적용된다는 주장은 논문 본문에 명시적으로 제한되어 있다.

실무 활용

구현 저장소가 공개되어 실제 연구나 엔지니어링 실험에 적용 가능하다. 프리트레이닝-포스트트레이닝 자원 배분 실험을 설계할 때 본 논문의 합성 스케일링 법칙을 가이드라인으로 사용할 수 있다. 또한 검증 가능한 보상을 갖는 도메인에서 정책 변화의 원인을 추적하는 분석 프레임으로 활용하기에 적합하다.

제한된 계산 자원 아래에서 프리트레이닝과 RL 사이의 최적 분배를 모의실험하는 연구에 직접 활용 가능하다.
SFT 데이터 설계 시 합성된 reasoning trace 포맷을 사용해 후보 확장 성향을 개선하는 실무 실험에 적용할 수 있다.
검증 가능한 환경을 갖춘 도메인에서 RL이 잘못된 모드를 강화하는 현상을 진단하고 완화책을 검증하는 데 사용할 수 있다.
프리트레이닝 손실을 기준으로 RL 투자 우선순위를 정하는 비용-효율성 평가 워크플로에 통합할 수 있다.

코드 공개 여부: 공개

코드 저장소 보기

키워드

Pretraining(프리트레이닝)Reinforcement Learning(RL)(강화학습)SFT(지도 파인튜닝)GRPO(그룹 상대 정책 최적화)Scaling Law(스케일링 법칙)Chain-of-Thought(사고 연쇄)

용어 해설

pass@k: — 주어진 문제에서 모델이 샘플링한 k개 응답 중 정답을 포함하는 비율을 의미한다. 본문에서는 퍼즐 완전 정답 기준의 pass@1과 더 넓은 샘플 커버리지를 반영하는 pass@16을 중심으로 성능을 비교한다. 이 지표는 모델의 최고 선택 능력과 샘플 다양성을 각각 다르게 반영하기 때문에 pretraining과 RL 효과를 분리해 읽을 때 중요하다.
Chain-of-Thought: — 모델이 최종 답을 내기 전의 중간 추론 경로를 토큰 시퀀스 형태로 출력한 것이다. 이 논문에서는 자연어 대신 체스의 가능한 진행 경로를 깊이우선 트리로 직렬화한 형식으로 사용하여 단계별 행동과 검증 가능한 보상을 연결한다. SFT 데이터로 사용된 이 구조가 RL 이후 정책 변화 해석에 핵심적 역할을 했다.
Chinchilla scaling: — 모델 크기와 토큰 수의 조합에서 검증 손실을 최적으로 만드는 데이터-파라미터 할당 규칙을 기술한 경험적 법칙이다. 본문에서는 이 법칙으로부터 예측한 프리트레이닝 손실을 입력으로 삼아 RL 이후 성능을 추정하는 합성 스케일링 모델을 구성했다. 이 규칙은 전단계(pretraining) 손실을 정량적으로 연결하는 근거로 사용됐다.
Verifiable reward: — 환경이 에피소드의 각 단계에서 모델의 행동을 정확히 판정할 수 있어 보상이 참/거짓으로 결정되는 설정을 말한다. 체스 퍼즐에서는 정해진 정답 수열과 일치해야만 보상 1을 지급하므로 RL 학습 목표가 명확하다. 이 특성 덕분에 정책의 단계별 변화와 잘못 강화되는 사례를 정밀하게 추적할 수 있었다.