레이블 없이 테스트 타임에 학습하는 TTPO: 비대칭 목적 함수를 통한 LLM 성능 최적화

왜 중요한가

대규모 언어 모델은 테스트 타임에 정답 레이블 없이 성능을 개선하기 어렵다. TTPO는 다수결 기반의 비대칭 목적 함수를 통해 외부 레이블 없이도 효과적인 테스트 타임 학습을 가능하게 하여, 모델의 추론 성능을 실시간으로 최적화할 수 있는 새로운 경로를 열었다.

핵심 기여

TTPO 프레임워크 도입

레이블 없이도 테스트 타임에 모델을 학습시키는 TTPO(Test-Time Policy Optimization) 프레임워크를 설계했다.

비대칭 목적 함수 설계

다수결 의사 레이블과 일치하는 샘플은 OPSD로 증류하고, 불일치하는 샘플은 Grouped RL로 처벌하는 비대칭 목적 함수를 구현했다.

토큰 단위 선택 메커니즘

이미 수렴한 위치는 가중치를 낮추고 확신을 가진 오류만 수정하는 토큰 단위 선택을 통해 학습 효율을 높였다.

벤치마크 성능 향상

Qwen3-1.7B 모델에서 테스트 타임 학습 성능을 38.0%에서 45.2%로 향상시켰으며, 사고 과정이 없는 모델에서도 +25.2%에서 +36.4%의 성능 개선을 기록했다.

핵심 아이디어 이해하기

기존의 강화학습(RL)이나 On-Policy Self-Distillation(OPSD)은 정답 레이블(ground-truth)이 필수적이다. 테스트 타임에는 정답이 없기에 다수결(majority-vote)로 생성한 의사 레이블(pseudo-label)을 사용하려 하지만, 잘못된 투표가 모델 전체를 오염시키는 취약점이 존재한다.

TTPO는 이러한 실패 모드가 비대칭적이라는 점에 착안했다. 의사 레이블과 일치하는 샘플(rollout)은 OPSD로 증류하고, 불일치하는 샘플은 Grouped RL로 처벌하는 비대칭 목적 함수를 설계했다.

토큰 단위 선택(token-level selection)을 통해 이미 수렴한 위치는 가중치를 낮추고, 확신을 가진 오류만 수정함으로써 레이블 없이도 안정적인 학습을 가능하게 했다.

방법론

TTPO는 다수결 기반의 의사 레이블을 생성한 뒤, 이를 기준으로 샘플을 두 그룹으로 나누었다. 의사 레이블과 일치하는 샘플은 모델의 확률 분포를 해당 샘플로 이동시키는 OPSD를 적용했다.

반면, 의사 레이블과 불일치하는 샘플은 모델의 성능을 저해하는 것으로 간주하여 Grouped RL을 통해 해당 경로의 확률을 낮추는 페널티를 부여했다.

토큰 단위 선택 메커니즘은 모델이 이미 높은 확률을 할당한 위치에서의 불필요한 업데이트를 방지하고, 모델이 확신을 가지고 생성한 오류에 대해서만 집중적으로 업데이트를 수행하여 학습 효율을 높였다.

주요 결과

TTPO는 5개의 경쟁 수준 벤치마크에서 레이블을 사용하는 기존 OPSD와 대등한 성능을 기록했다.

Qwen3-1.7B 모델에 적용했을 때, 테스트 타임 학습(TTT) 성능이 기존 38.0%에서 45.2%로 향상되었다.

사고(thinking) 과정이 없는 모델에서도 +25.2%에서 +36.4%의 성능 향상이 나타났으며, 다양한 작업에 대한 강한 일반화 능력을 입증했다.

기술 상세

TTPO의 핵심은 비대칭 목적 함수이다. 모델의 정책 $\pi$ 에 대해, 의사 레이블 $y^*$ 와 일치하는 샘플 $x_{agree}$ 에 대해서는 $\mathcal{L}_{distill} = -\log \pi(x_{agree})$ 를 최소화하는 방향으로 업데이트한다.

불일치하는 샘플 $x_{disagree}$ 에 대해서는 Grouped RL을 통해 보상을 낮추는 방향으로 업데이트를 수행한다.

토큰 단위 선택은 각 토큰 위치 $t$ 에서의 모델 신뢰도와 의사 레이블과의 일치 여부를 결합하여, 학습이 필요한 위치에만 그래디언트를 할당한다. 이는 노이즈가 많은 의사 레이블 환경에서도 모델이 안정적으로 수렴하도록 돕는다.

실무 활용

외부 정답 레이블이 없는 환경에서 모델의 추론 성능을 실시간으로 개선해야 하는 상황에 적합하다. 수학적 추론이나 코딩 등 모델의 자체 검증이 가능한 도메인에서 활용 가능하다.

테스트 타임에 모델 성능을 실시간으로 최적화
정답 레이블이 없는 환경에서의 자기 지도 학습
수학적 추론 및 코딩 작업의 정확도 향상

코드 공개 여부: 공개

코드 저장소 보기

키워드

TTPO(테스트 타임 정책 최적화)LLM(대형 언어 모델)OPSD(온-폴리시 자기 증류)TTT(테스트 타임 학습)Grouped RL(그룹화 강화학습)

용어 해설

On-Policy Self-Distillation(OPSD): — 모델이 생성한 샘플 중 정답과 일치하는 것을 증류하여 학습하는 기법이다. 모델의 정책을 스스로 생성한 고품질 데이터로 정렬하여 성능을 높인다.
Test-Time Training(TTT): — 추론 단계에서 모델의 가중치를 추가로 조정하여 특정 작업 성능을 높이는 기법이다. 외부 레이블 없이 모델의 자체적인 적응력을 활용한다.
Grouped RL: — 여러 샘플 그룹을 비교하여 강화학습을 수행하는 방식이다. 샘플 간의 불일치를 보상 신호로 활용하여 모델의 오류를 교정한다.

레이블 없이 테스트 타임에 학습하는 TTPO: 비대칭 목적 함수를 통한 LLM 성능 최적화

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 기사

다수결로 정답을 만드는 비지도 Self-Distillation

온폴리시 자기 증류를 통한 AI 모델의 지속적 학습 및 성능 개선

온-폴리시 자기 증류(On-Policy Self-Distillation) 연구 및 최신 동향 분석.

AgentOPSD: 로그오즈 기반 재귀적 자기증류로 턴 신용 복원

OPD는 정말 교사 지식을 증류하는가

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

실무 활용

키워드

관련 토론

댓글

관련 기사

다수결로 정답을 만드는 비지도 Self-Distillation

온폴리시 자기 증류를 통한 AI 모델의 지속적 학습 및 성능 개선

온-폴리시 자기 증류(On-Policy Self-Distillation) 연구 및 최신 동향 분석.

AgentOPSD: 로그오즈 기반 재귀적 자기증류로 턴 신용 복원

OPD는 정말 교사 지식을 증류하는가