GPT-2에서 Llama로 전이되는 깊이 우선 가지치기(Depth-first pruning)의 의외의 효과

커뮤니티 반응

작성자의 실험 결과에 대해 긍정적인 반응이며, 깊이 가지치기와 너비 축소 간의 효율성 비교에 대한 관심이 높다.

주요 논점

01찬성다수

깊이 우선 가지치기가 모델 구조를 더 잘 보존하며 아키텍처 간 전이도 잘 된다.

합의점 vs 논쟁점

합의점

첫 번째와 마지막 레이어는 가지치기에서 제외해야 할 만큼 중요하다.
가지치기 후 지식 증류를 통한 복구 과정이 필수적이며 안정적이다.

논쟁점

깊이 가지치기가 모든 규모의 모델(예: 70B 이상)에서도 동일하게 효율적일지는 추가 검증이 필요하다.

실용적 조언

모델 경량화 시 레이어 민감도를 먼저 측정하고 중간 레이어 위주로 제거를 시도하라.
가지치기 후에는 반드시 지식 증류 과정을 거쳐 퍼플렉서티 손실을 복구해야 한다.

섹션별 상세

작성자는 모델의 너비(Width)를 줄이는 대신 특정 레이어를 통째로 제거하는 깊이 우선 가지치기(Depth-first pruning) 메커니즘을 제안했다. 레이어별 민감도를 측정하여 영향력이 낮은 레이어를 선택해 제거한 뒤, 지식 증류(Knowledge Distillation)를 통해 성능을 복구하는 과정을 거친다. 이 방식은 모델의 전체적인 구조를 파괴하지 않으면서도 파라미터 수와 연산량을 효과적으로 줄이는 데 목적이 있다.

GPT-2(124M) 모델을 대상으로 한 실험에서 12개 레이어를 9~10개로 줄였을 때 유의미한 결과가 도출됐다. 파라미터 수는 11~17% 감소했으며, 디코딩 속도는 약 1.2배 향상되는 성과를 거두었다. 퍼플렉서티(PPL) 저하가 9~13% 수준으로 억제되어 모델의 실용성을 유지할 수 있음이 확인됐다.

동일한 기법을 TinyLlama 1.1B 모델에 적용하여 아키텍처 간 전이 가능성을 검증했다. 22개 레이어 중 2~3개를 제거했을 때 PPL 비율이 1.058~1.081 수준으로 유지되며 GPT-2와 유사한 경향성을 보였다. 이는 특정 아키텍처에 종속되지 않은 범용적인 최적화 레시피로서의 가능성을 시사한다.

레이어 위치에 따른 중요도 차이가 실험을 통해 명확히 드러났다. 모델의 초기 레이어와 마지막 레이어는 구조 유지에 핵심적인 역할을 수행하여 제거 시 성능 저하가 극심했으나, 초기 이후나 중간 단계의 레이어들은 상대적으로 제거가 용이했다. 가지치기 후 모델이 스스로 균형을 재조정하는 과정에서 최적의 레이어 조합이 변한다는 사실도 발견됐다.

용어 해설

깊이 가지치기(Depth Pruning): — 모델의 레이어(Layer)를 통째로 제거하여 깊이를 줄이는 최적화 기법이다. 레이어 내부의 파라미터를 줄이는 너비 가지치기보다 구현이 단순하며 추론 속도 향상 효과가 직접적이다. 모델의 계층적 특징 추출 능력을 유지하면서 연산 비용을 절감하는 데 중요하다.
퍼플렉서티(Perplexity (PPL)): — 언어 모델이 텍스트 시퀀스를 얼마나 잘 예측하는지 나타내는 확률적 지표이다. 수치가 낮을수록 모델이 학습 데이터의 분포를 정확하게 파악하고 있음을 의미한다. 모델 압축이나 가지치기 과정에서 발생하는 정보 손실을 정량적으로 평가하는 척도로 활용된다.
지식 증류(Knowledge Distillation): — 거대 모델(Teacher)의 출력 확률 분포를 작은 모델(Student)이 학습하게 하여 지식을 전수하는 방법이다. 가지치기로 인해 레이어가 제거된 모델의 성능 공백을 메우기 위해 사용된다. 원본 모델의 복잡한 추론 능력을 경량화된 모델에 효율적으로 이식하는 핵심 기술이다.