TTRL: 테스트 시점 강화학습을 통한 LLM 추론 능력 향상

• •학습 시점 스케일링의 한계를 극복하기 위해 Test-time compute 활용이 증가했다.
• •DeepSeek-R1은 GRPO 알고리즘을 통해 추론 능력을 극대화했다.
• •TTRL은 추론 시점에 발생하는 데이터를 학습에 즉시 반영한다.

Chinchilla Scaling Law는 모델 크기와 데이터 양의 균형을 강조하며, 최근에는 추론 시점의 연산 효율성이 핵심 화두이다.

• •TTI는 Best-of-N, Majority Voting 등 결과 선택 기법을 포함한다.
• •TTT는 테스트 데이터 분포에 맞춰 모델을 실시간 최적화한다.
• •TTRL은 라벨 없는 데이터로 강화학습을 수행하는 TTT의 진화된 형태이다.

TTI는 모델 가중치를 고정하고 연산만 늘리는 반면, TTT는 가중치 자체를 미세 조정한다.

• •N개의 샘플링을 통해 가상 정답(Pseudo-label)을 도출한다.
• •가상 정답과의 일치 여부를 규칙 기반 보상(Rule-based reward)으로 사용한다.
• •라벨 없이도 자기 개선(Self-improvement)이 가능한 루프를 형성한다.

Majority Voting은 정답을 모르는 상황에서 모델의 내부적 합의(Consensus)를 정답의 대리 지표로 활용한다.

def majority_voting_reward_fn(outputs):
    # 각 출력에서 정답(answer) 추출
    answers = [extract_answer(out) for out in outputs]
    
    # 가장 빈번한 답변(Consensus) 찾기
    from collections import Counter
    counts = Counter(answers)
    majority_answer, _ = counts.most_common(1)[0]
    
    # 다수결 답변과 일치하면 보상 1, 아니면 0 부여
    rewards = [1 if ans == majority_answer else 0 for ans in answers]
    return rewards

• •다양한 크기의 모델에서 일관된 성능 향상을 기록했다.
• •라벨을 사용한 학습과 유사한 수준의 최적화 효율을 보였다.
• •Out-of-distribution 데이터에서도 일반화 성능이 유지되었다.

AIME는 고난도 수학 경시 대회 문제로 구성된 벤치마크로, 모델의 심화 추론 능력을 측정한다.

• •모델의 기초 체력이 부족한 고난도 문제에서는 효과가 제한적이다.
• •하이퍼파라미터 설정이 학습의 안정성에 결정적인 영향을 미친다.
• •잘못된 다수결 결과가 보상으로 작동할 경우 성능 저하의 위험이 있다.

강화학습에서 보상 신호가 노이즈가 많을 경우 학습이 발산하거나 잘못된 방향으로 수렴할 수 있다.