아담의 법칙: 대형 언어 모델에서의 텍스트 빈도 법칙

LLM이 학습 데이터에서 자주 접한 텍스트 패턴을 더 잘 처리한다는 '텍스트 빈도 법칙(TFL)'을 정립했습니다. 이를 통해 프롬프트의 단어 선택만으로도 모델의 추론 및 번역 성능을 즉각적으로 개선할 수 있는 실무적 가이드라인을 제공합니다.

대형 언어 모델은 학습 과정에서 Cross-Entropy Loss를 최소화하도록 훈련된다. 이 과정에서 자주 등장하는 토큰 시퀀스는 모델의 파라미터 업데이트에 더 많이 기여하게 되며, 결과적으로 모델은 고빈도 데이터의 분포를 더 정확하게 학습하게 된다. 이는 임베딩 공간에서 고빈도 표현이 더 밀도 있고 정확하게 표현됨을 의미한다.

기존 연구들이 데이터의 '난이도'나 '길이'에 주목했다면, 본 논문은 '빈도'라는 기초적인 통계적 특성이 모델의 이해도와 직결된다는 점에 착안했다. 즉, 모델이 더 많이 본 표현일수록 해당 컨텍스트에서의 다음 토큰 예측 확률(Likelihood)이 높아지며, 이는 곧 더 안정적인 추론과 정확한 결과 생성으로 이어진다.

결과적으로 프롬프트를 구성할 때 희귀한 단어보다는 일상적이고 빈번하게 사용되는 단어로 재구성(Paraphrasing)하는 것만으로도 모델 내부의 활성화 패턴을 최적화하여 성능을 끌어올릴 수 있다.

전체 프레임워크는 문장 빈도 측정, 빈도 증류, 그리고 커리큘럼 학습의 세 단계로 구성된다. 먼저 문장 수준 빈도(sfreq)를 측정하기 위해 Zipf의 법칙을 기반으로 한 단어 빈도의 기하평균을 활용한다.

텍스트 빈도 증류(TFD) 단계에서는 타겟 LLM에 특정 텍스트를 입력하고 이어지는 내용을 생성하게 하는 '스토리 완성' 태스크를 수행한다. [입력 텍스트 → 모델 생성 → 생성된 텍스트의 빈도 분석 → 원래 빈도 추정치 보정] 과정을 거쳐, 모델이 내부적으로 해당 표현을 얼마나 친숙하게 느끼는지 수치화한다.

커리큘럼 텍스트 빈도 학습(CTFT)은 파인튜닝 시 데이터를 빈도 순으로 정렬하여 배치한다. [저빈도 데이터 학습 → 점진적 빈도 증가 → 고빈도 데이터 학습] 순서로 진행하며, 이는 모델이 복잡하고 다양한 표현을 먼저 접한 뒤 가장 표준적이고 명확한 표현으로 수렴하도록 유도하여 파라미터 효율성을 높인다.

수학적 추론(GSM8K) 실험에서 DeepSeek-V3는 고빈도 프롬프트를 사용했을 때 정확도가 63.55%에서 71.54%로 향상됐으며, Llama-3.3-70B는 80.49%에서 88.75%로 크게 개선됐다.

기계 번역 태스크에서는 100개 언어 쌍에 대해 실험한 결과, DeepSeek-V3 기준 99개 언어에서 BLEU 점수가 상승했으며, 특히 저리소스 언어에서 고빈도 표현 사용 시 성능 향상 폭이 더 컸다.

상식 추론(CR) 및 도구 호출(TC) 실험에서도 모든 베이스라인 모델에서 고빈도 파티션이 저빈도 파티션보다 일관되게 높은 정확도를 기록하여 TFL의 보편성을 입증했다.

본 연구는 Zipf의 법칙(Zipf's Law)을 기반으로 토큰 수준의 NLL Loss가 빈도 순위의 로그값에 선형적으로 비례한다는 점을 수학적으로 증명했다. 이를 문장 수준으로 확장하여 문장 빈도와 모델 손실 함수 사이의 상관관계를 정립했다.

학습 데이터가 공개되지 않은 모델의 경우에도 온라인 오픈소스 코퍼스를 통해 추정한 빈도가 실제 모델 성능과 강한 상관관계(Pearson Correlation 최대 1.0)를 보임을 확인했다. 이는 모델의 사전 학습 데이터가 인터넷상의 일반적인 텍스트 분포를 따르기 때문으로 분석된다.

실험에 사용된 모델은 GPT-4o-mini, DeepSeek-V3, Llama-3.3-70B-Instruct, Qwen2.5 시리즈 등이며, 0.5B부터 671B 파라미터 규모까지 모델 크기에 관계없이 텍스트 빈도 법칙이 유효하게 작동함을 검증했다.

스토리 완성을 통한 빈도 증류 과정에서 추가적인 연산 비용이 발생하며, 폐쇄형 모델의 학습 코퍼스를 완벽하게 재현하는 것은 현실적으로 불가능하다는 한계가 있다.