챕터별 상세
LLM 학습 패러다임의 변화와 Test-Time Scaling
기존 LLM 성능 향상은 주로 학습 시점(Train-time)의 데이터와 파라미터 수를 늘리는 스케일링 법칙에 의존했다. 하지만 최근에는 추론 시점(Test-time)에 연산량을 늘려 성능을 높이는 방향으로 패러다임이 전환되었다. OpenAI o1이나 DeepSeek-R1처럼 모델이 답변 전 사고 과정(Reasoning Path)을 길게 가져가는 방식이 대표적이다. TTRL은 이러한 흐름에서 한 발 더 나아가 추론 시점에 모델을 직접 학습시키는 접근법을 취한다.
Chinchilla Scaling Law는 모델 크기와 데이터 양의 균형을 강조하며, 최근에는 추론 시점의 연산 효율성이 핵심 화두이다.
Test-Time Scaling의 분류: TTI vs TTT
테스트 시점 스케일링은 크게 TTI(Test-Time Inference)와 TTT(Test-Time Training)로 나뉜다. TTI는 여러 후보 답변을 생성한 뒤 최적의 답을 선택하거나(Best-of-N), 사고 과정을 길게 가져가는(CoT) 방식이다. 반면 TTT는 테스트 시점에 들어온 데이터를 사용해 모델의 파라미터를 직접 업데이트한다. TTRL은 TTT 카테고리에 속하며, 정답 라벨이 없는 환경에서도 모델을 스스로 개선하는 자기 지도 학습(Self-supervised) 성격을 띤다.
TTI는 모델 가중치를 고정하고 연산만 늘리는 반면, TTT는 가중치 자체를 미세 조정한다.
TTRL의 핵심 메커니즘: Majority Voting 기반 보상 설계
TTRL은 정답 라벨이 없는 테스트 쿼리에 대해 모델이 N개의 답변 샘플을 반복 생성하도록 한다. 생성된 샘플들 중 다수결 투표(Majority Voting)를 통해 가장 많이 등장한 답변을 가상 정답(Estimated Label)으로 설정한다. 이 가상 정답과 일치하는 샘플에는 보상 1을, 일치하지 않는 샘플에는 보상 0을 부여한다. 이렇게 계산된 보상을 바탕으로 GRPO나 PPO 같은 강화학습 알고리즘을 적용해 모델의 정책을 업데이트한다.
Majority Voting은 정답을 모르는 상황에서 모델의 내부적 합의(Consensus)를 정답의 대리 지표로 활용한다.
python
def majority_voting_reward_fn(outputs):
# 각 출력에서 정답(answer) 추출
answers = [extract_answer(out) for out in outputs]
# 가장 빈번한 답변(Consensus) 찾기
from collections import Counter
counts = Counter(answers)
majority_answer, _ = counts.most_common(1)[0]
# 다수결 답변과 일치하면 보상 1, 아니면 0 부여
rewards = [1 if ans == majority_answer else 0 for ans in answers]
return rewardsTTRL의 핵심인 다수결 투표 기반 보상 함수 구현 예시
벤치마크 성능 분석 및 실험 결과
Qwen 2.5 및 Llama 3.1 모델을 대상으로 수학 벤치마크(MATH, AIME)에서 실험한 결과, TTRL 적용 시 성능이 크게 향상되었다. 특히 소형 모델인 Qwen 1.5B에서도 TTRL을 통해 상위 모델 수준의 성능 개선이 확인되었다. 재미있는 점은 정답 라벨을 직접 사용한 강화학습(RL Leakage) 결과와 비교했을 때도 TTRL이 이에 근접하는 성능을 보였다는 것이다. 이는 다수결 투표가 정답 라벨의 훌륭한 대체재가 될 수 있음을 시사한다.
AIME는 고난도 수학 경시 대회 문제로 구성된 벤치마크로, 모델의 심화 추론 능력을 측정한다.
TTRL의 한계점과 실패 사례 분석
TTRL이 항상 성공하는 것은 아니다. 모델의 사전 지식(Prior Knowledge)이 너무 부족하여 다수결 투표 결과 자체가 오답으로 편향된 경우 성능이 오히려 하락하거나 정체된다. 또한 강화학습의 특성상 하이퍼파라미터(Temperature, Batch size 등) 설정에 매우 민감하게 반응한다. 특히 난이도가 매우 높은 태스크에서는 초기 샘플링에서 정답 근처에도 가지 못하면 학습 루프가 붕괴되는 현상이 발생한다.
강화학습에서 보상 신호가 노이즈가 많을 경우 학습이 발산하거나 잘못된 방향으로 수렴할 수 있다.
용어 해설
- 테스트 시점 연산(Test-Time Compute)
- — 모델이 답변을 생성하는 추론 시점에 더 많은 연산 자원을 투입하여 추론의 품질을 높이는 기법이다. 단순히 한 번의 답변을 내놓는 대신 여러 경로를 탐색하거나 사고 과정을 길게 가져감으로써 복잡한 문제 해결 능력을 극대화한다.
- 다수결 투표(Majority Voting)
- — 동일한 질문에 대해 모델이 생성한 여러 개의 답변 중 가장 빈번하게 등장한 답변을 최종 정답으로 선택하는 방식이다. 앙상블 효과를 통해 개별 생성의 오류를 줄이고 정답에 가까운 결론을 도출하는 데 사용된다.
- 그룹 상대 정책 최적화(GRPO)
- — 별도의 비평가(Critic) 모델 없이 그룹 내 샘플들의 상대적 보상을 비교하여 정책을 업데이트하는 강화학습 알고리즘이다. DeepSeek-R1에서 사용되어 연산 효율성을 높이면서도 강력한 추론 성능을 입증했다.
- 자기 개선(Self-Improvement)
- — 모델이 스스로 생성한 데이터나 피드백을 활용하여 외부의 추가적인 정답 라벨 없이도 성능을 향상시키는 과정이다. 데이터 부족 문제를 해결하고 특정 도메인에 대한 적응력을 높이는 핵심 기법이다.
AI 분석 전체 내용 보기
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
원문 발행 2025. 12. 04.수집 2026. 02. 21.출처 타입 YOUTUBE
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.
