LLM 활성화의 생성적 메타 모델 학습 및 루브릭 기반 강화학습 분석

• •활성화 공간의 생성적 모델링 도입
• •기존 SAE 방식의 선형성 한계 극복 시도
• •모델 내부 상태에 대한 새로운 해석 도구 제공

기존 SAE는 선형성 가정을 전제로 하지만, GLP는 비선형적인 확산 모델을 사용하여 더 복잡한 활성화 패턴을 포착한다.

• •Flow Matching 기반의 확산 학습 적용
• •활성화 매니폴드 구조의 직접적인 학습
• •MLP 기반의 디노이징 아키텍처 설계

Flow Matching은 확산 모델 학습 시 데이터 간의 경로를 직접 학습하여 샘플링 속도와 품질을 높이는 최신 기법이다.

• •10억 토큰 규모의 대규모 활성화 데이터셋 활용
• •활성화 공간 내 개념 군집화 현상 확인
• •실제 모델 분포와 메타 모델 간의 높은 일치도 달성

• •활성화 스티어링 시 유창성 유지 성능 향상
• •On-manifold 제어를 통한 출력 품질 보존
• •SAE 대비 정밀한 모델 내부 제어 가능성 확인

On-manifold 제어는 모델이 학습하지 않은 엉뚱한 상태로 빠지는 것을 방지하여 출력 품질을 유지한다.

• •세밀한 보상 설계를 위한 루브릭 도입
• •복잡한 지시 이행 능력 강화
• •평가 기준의 명시적 정의를 통한 학습 효율화

루브릭은 채점 기준표와 같은 역할을 하며, 모델 평가의 객관성과 세밀함을 높여준다.

• •자가 증류 기반의 정책 최적화 구현
• •외부 데이터 의존도 감소 및 성능 향상
• •추론 및 논리 작업에서의 탁월한 효과 입증

SDPO는 Self-Distillation Policy Optimization의 약자로, 자가 학습을 통한 성능 고도화 기법이다.