로지스틱 회귀와 대형 언어 모델의 매개변수 비율 비교

섹션별 상세

로지스틱 회귀는 소규모 데이터셋에서 강력한 성능을 발휘하며, 임상 시험과 같은 분야에서 베이지안 기법과 결합하여 수십 명의 환자 데이터만으로도 유의미한 모델을 구축할 수 있다. 고전 통계학에서는 데이터 부족 시 매개변수를 늘리는 것이 모델의 신뢰성을 해친다고 판단하여 AIC나 BIC 같은 정보 기준을 통해 파라미터 추가의 정당성을 엄격히 검증한다.

고전 모델의 설계 원칙 중 하나인 EVP(Events Per Parameter) 규칙은 파라미터 하나당 최소 10개의 사건이 필요함을 강조하며, 이는 데이터 비트와 파라미터 비트 사이의 특정 비율을 유지하게 만든다. 예를 들어 200명의 환자 데이터로는 보통 4개 정도의 파라미터만 허용되며, 이를 초과하는 과잉 매개변수화는 일반화 성능을 떨어뜨리는 요인으로 간주된다.

현대의 LLM은 수십억 개의 파라미터를 사용함에도 불구하고 과잉 매개변수화의 함정을 극복하고 뛰어난 성능을 보여주는데, 이는 고전 통계학의 관점에서는 비상식적으로 보일 수 있는 현상이다. 하지만 실제 LLM의 학습 데이터를 분석해 보면 파라미터당 약 100개의 토큰을 사용하는 경향이 있으며, 이는 고전적인 EVP 규칙과 수치적으로 크게 다르지 않은 수준이다.

데이터와 파라미터를 비트 단위로 정밀하게 비교하면 두 모델 사이의 유사성이 더욱 명확해지는데, LLM의 양자화(Quantization)된 파라미터 비트와 학습 토큰의 정보량을 계산하면 로지스틱 회귀의 데이터 비율과 유사한 범위에 도달한다. 결과적으로 LLM은 로지스틱 회귀의 극단적인 확장 형태이면서도, 정보 이론적 관점에서는 여전히 효율적인 데이터 활용 법칙을 따르고 있다.

용어 해설

로지스틱 회귀(Logistic Regression): — 독립 변수의 선형 결합을 사용하여 특정 사건의 발생 가능성을 0과 1 사이의 확률로 예측하는 통계 기법이다. 신경망의 단일 뉴런 작동 방식과 유사하며, 데이터셋이 작을 때 매우 효율적이고 해석력이 높다.
과잉 매개변수화(Over-parameterization): — 모델의 학습 가능한 파라미터 수가 학습 데이터의 샘플 수보다 훨씬 많은 상태를 의미한다. 고전 통계에서는 오버피팅을 유발하는 부정적 현상으로 간주되나, 현대 딥러닝에서는 특정 임계값을 넘으면 오히려 일반화 성능이 좋아지는 이중 하강 현상이 관찰된다.
스케일링 법칙(Scaling Laws): — 모델의 크기, 데이터셋의 규모, 계산량(Compute)이 증가함에 따라 모델의 성능이 예측 가능한 방식으로 향상된다는 법칙이다. LLM 설계 시 자원 배분을 최적화하기 위한 핵심 지표로 활용된다.
양자화(Quantization): — 모델의 가중치를 표현하는 정밀도(예: 32비트 부동소수점)를 더 낮은 비트(예: 8비트, 4비트 정수)로 변환하는 기술이다. 메모리 사용량을 획기적으로 줄이고 추론 속도를 높이면서도 성능 손실을 최소화하는 것이 목적이다.
정보 기준(Information Criteria (AIC/BIC)): — 모델의 적합도와 복잡도 사이의 균형을 평가하는 통계적 척도이다. 불필요하게 많은 파라미터를 사용하는 모델에 페널티를 부여하여, 데이터에 가장 적합하면서도 간결한 모델을 선택하도록 돕는다.

기술

Logistic Regression
LLM
Quantization

활용 사례

임상 시험 데이터 분석
LLM 학습 규모 산정
모델 복잡도 최적화 가이드라인

언급된 리소스

논문A simulation study of the number of events per variable in logistic regression analysis