LayerNorm 감마 파라미터만 학습시키는 'BALLAST' 기법 실험: Phi-4-mini에서의 실패 사례와 분석

실용적 조언

소규모 데이터셋 미세 조정 시 과적합을 피하기 위해 LoRA Rank를 1~4 정도로 매우 낮게 설정할 것.
질의응답 성능을 높이려면 단순 텍스트(CPT) 대신 질문-답변 쌍으로 구성된 SFT 데이터를 사용할 것.
mlx_lm에서 LoRA 체크포인트를 평가하기 전 반드시 LoRALinear.fuse()를 호출하여 가중치를 결합할 것.

섹션별 상세

BALLAST 기법은 모델의 기존 지식 경로를 재지향하기 위해 LayerNorm의 감마 값만 학습시키는 아이디어에서 출발했다. 전체 파라미터의 0.005%인 약 19.6만 개만 학습시키므로 LoRA(1,150만 개)보다 훨씬 가볍다는 장점이 이론적으로 제시됐다. 하지만 실제 Phi-4-mini 모델에 적용했을 때 기존 지식을 활용하기보다 오히려 성능을 저해하는 결과가 나타났다.

Python 코드와 의료 데이터셋을 이용한 실험 결과 모든 벤치마크 점수가 기준점(Baseline)보다 낮아졌다. HumanEval 점수는 0.646에서 0.616으로, MedQA 점수는 0.545에서 0.538로 하락하며 학습률 조정에도 불구하고 개선되지 않았다. 이는 단순한 파라미터 수의 부족이 아니라 기법 자체가 가진 근본적인 한계임을 시사했다.

실패의 주요 원인은 트랜스포머의 Attention 메커니즘이 이미 고도로 정교한 동적 라우팅 시스템을 갖추고 있기 때문이다. Attention은 매 추론마다 입력값에 맞춰 관련 특징을 스스로 찾아내므로, 그 위에 고정된 LayerNorm 편향을 추가하는 것은 중복된 작업에 불과했다. 결국 지식의 병목 현상은 라우팅이 아닌 모델 자체의 용량(Capacity) 문제임이 확인됐다.

소규모 데이터셋(10K 샘플)에서 표준 LoRA를 적용할 경우 심각한 과적합과 치명적 망각이 발생한다는 실무적 교훈을 얻었다. 1,150만 개의 파라미터가 1만 개의 파일을 단순히 암기하면서 HumanEval 점수가 0.439까지 폭락하는 현상이 관찰됐다. 이를 방지하기 위해서는 매우 낮은 Rank를 사용하거나 데이터 품질에 따른 정교한 튜닝이 필수적이다.

python

for layer in model.layers:
    if hasattr(layer, "fuse"):
        layer.fuse()
# ...(중략)
# mlx_lm에서 LoRA 어댑터를 평가하기 전 필수 단계

mlx_lm 라이브러리에서 LoRA 어댑터를 기본 모델 가중치와 결합(fusing)하는 로직 예시

용어 해설

레이어 정규화(LayerNorm): — 신경망의 각 층에서 입력을 정규화하여 학습의 안정성과 속도를 향상시키는 기법이다. 본문에서는 이 층의 감마(gamma) 파라미터만 학습시켜 모델의 지식 경로를 재지향하려는 시도가 다뤄졌다.
제곱평균제곱근 정규화(RMSNorm): — 평균 제거 과정 없이 제곱평균제곱근만을 사용하여 입력을 정규화하는 방식이다. Phi-4-mini와 같은 최신 모델에서 계산 효율성을 위해 LayerNorm 대신 널리 채택된다.
치명적 망각(Catastrophic Forgetting): — 인공지능 모델이 새로운 정보를 학습할 때 이전에 습득했던 지식을 완전히 잃어버리는 현상이다. 소규모 데이터셋에서 과도한 파라미터를 학습시킬 때 주로 발생한다.
지도 미세 조정(SFT): — 특정 지시사항과 답변 쌍을 사용하여 모델이 원하는 방식으로 응답하도록 훈련하는 과정이다. 단순 텍스트 학습(CPT)과 달리 질의응답 성능 개선에 필수적이다.
파라미터 효율적 미세 조정(PEFT): — 모델의 전체 가중치 대신 극히 일부의 파라미터만 학습시켜 자원 소모를 줄이면서도 성능을 개선하는 기법이다. LoRA와 본문의 BALLAST 실험이 이에 해당한다.

언급된 도구

mlx-lm추천

Apple Silicon 환경에서 LLM 학습 및 추론 실행

Phi-4-mini중립

3.8B 파라미터 규모의 경량 언어 모델 베이스

Weights & Biases추천

실험 지표 추적 및 시각화

언급된 리소스

논문Zhao et al. ICLR 2024 (LayerNorm Training Reference)

GitHubmlx-lm GitHub Repository