파라미터 수와 퍼플렉시티로 본 Dense 대비 TT·SVD 축소·증류 결과

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

TL;DR

이 표는 Dense baseline(2,359,296 파라미터, perplexity 29.21)을 기준으로 Tensor-Train 계열과 SVD 저랭크 근사의 압축 및 증류 결과를 비교하였다. TT identity 증류는 파라미터를 674,864로 줄였으나 perplexity가 37.19로 증가했고 TT π 증류는 635,216 파라미터에서 perplexity 32.77로 더 나은 균형을 보였다. SVD r176은 원래 근사에서 perplexity 52.68로 크게 악화되었지만 증류 후에는 perplexity 30.31로 거의 회복되어 증류의 성능 회복 효과가 명확히 나타났다. 결과적으로 저차원화 기법 자체의 선택과 증류 적용 여부가 경량화된 모델의 최종 성능을 좌우하였다.

섹션별 상세

원본 Dense baseline은 2,359,296개의 파라미터와 perplexity 29.21을 보였고, 이 값이 축소 기법들의 성능 비교 기준으로 사용되었다. Tensor-Train 기반의 TT identity 증류는 파라미터를 674,864로 줄였고 함수 오류(func. err)는 0.197, perplexity는 37.19로 Dense 대비 +27.3% 상승을 기록했다. 이 수치는 구조적 저차원화로 모델 용량이 감소하면서 언어 모델 예측 불확실성이 증가했음을 의미한다. 따라서 파라미터 절감이 곧 성능 저하로 연결될 가능성이 명확히 관찰되었다.

동일 계열의 다른 파라미터화인 TT π 증류는 파라미터 635,216에서 함수 오류 0.179와 perplexity 32.77을 보이며 TT identity보다 낮은 오류와 낮은 퍼플렉시티를 달성했다. 이 결과는 동일한 Tensor-Train 계열이라도 인코딩 방식이나 파라미터화 차이에 따라 학습된 표현의 효율성이 달라질 수 있음을 시사한다. 테이블의 수치상으로는 파라미터를 더 줄이면서도 상대적으로 덜 큰 성능 손실을 유지하는 트레이드오프가 가능함이 확인된다. 따라서 세부 설계가 축소 기법의 실효성에 큰 영향을 미쳤다.

SVD r176의 원본(raw) 근사는 파라미터 675,840에서 함수 오류 0.277과 perplexity 52.68로 성능 저하가 크게 발생했다. 같은 SVD r176에 증류를 적용하자 함수 오류가 0.134로 줄고 perplexity는 30.31로 개선되어 Dense 대비 +3.8% 수준으로 거의 회복되었다. 이 차이는 저랭크 근사만으로는 손실이 크지만 지식 증류로 학생 모델이 교사의 분포를 모사하면서 성능을 회복할 수 있음을 실험적으로 뒷받침한다. 따라서 SVD 기반 압축에서는 증류 단계가 실용적 성능 확보에 결정적 역할을 수행했다.

표에 나타난 전반적 트렌드는 파라미터 수와 성능 간의 직관적 트레이드오프와 함께 기법별 회복력 차이가 공존한다는 점이다. 파라미터를 수백만에서 수십만 단위로 줄이면 구조적 제약과 근사 오차로 성능이 악화될 수 있으나 증류를 통해 상당 부분 회복할 수 있으며, 같은 저차원화 계열이라도 파라미터화 방식(TT identity vs TT π)에 따라 결과가 달라진다. 따라서 모델 경량화를 설계할 때는 근사 기법 선택, 랭크 설정, 그리고 증류 같은 후처리 단계의 조합을 함께 고려해야 한다.

용어 해설

텐서-트레인 분해(Tensor-Train (TT)): — 텐서-트레인은 다차원 가중치 텐서를 저차원 텐서곱 형태로 분해하여 저장과 계산 비용을 줄이는 기법으로, 모델 파라미터 수를 크게 줄여 메모리와 연산량을 절감하면서 구조적 제약으로 성능 변화를 유발할 수 있다.
특이값 분해(SVD): — 특이값 분해는 행렬을 좌·우 특이벡터와 특이값 대각행렬로 분해하여 저랭크 근사를 생성하는 방법으로, 가중치 행렬을 저랭크로 근사하여 파라미터와 연산을 줄이되 분해랭크에 따라 성능 손실이 달라진다.
지식 증류(Distillation): — 지식 증류는 큰 모델(teacher)의 예측 분포나 중간 표현을 작은 모델(student)에 맞추어 학습시키는 방법으로, 직접적인 파라미터 축소 후에도 성능을 회복하거나 개선시키는 용도로 널리 사용된다.
퍼플렉시티(Perplexity): — 퍼플렉시티는 언어 모델의 예측 불확실성을 수치화한 지표로 확률 분포의 역기하평균을 취한 값이며 값이 낮을수록 모델의 다음 토큰 예측 성능이 우수함을 의미한다.
파라미터 수(Parameter count): — 파라미터 수는 모델이 학습 가능한 가중치 총량을 의미하며 모델 용량, 메모리 요구량, 연산 비용과 직접적으로 연결되어 축소 기법의 효과를 평가하는 기본 지표로 사용된다.