언어 모델을 위한 병렬 스케일링 법칙: 파라미터 증가 없이 성능을 높이는 새로운 방법

• •파라미터 증가는 메모리 비용을, 추론 토큰 증가는 시간 비용을 수반함
• •기존 방식은 자원 제약이 있는 환경에서 모델 확장의 병목 현상을 초래함

• •동일 모델 파라미터를 재사용하여 P개의 서로 다른 관점의 연산 수행
• •Prefix Tuning과 Learnable Aggregation을 통한 효율적 아키텍처 설계
• •추가 파라미터는 0.2% 수준으로 억제하면서 연산 밀도만 확장

Prefix Tuning은 모델 전체를 학습시키는 대신 입력 앞에 붙는 소수의 벡터만 학습시켜 효율성을 높이는 기법이다.

• •병렬 스트림 수 P와 파라미터 확장 간의 O(log P) 상관관계 입증
• •스트림 간 예측의 다양성이 성능 향상의 핵심 동력임을 확인
• •이론적 Scaling Law 수식이 실제 벤치마크 결과와 높은 정합성을 보임

O(log P)는 스트림 수가 기하급수적으로 늘어나야 파라미터 선형 증가와 맞먹는 효과가 난다는 의미이나, 자원 효율성 측면에서는 이득이다.

• •코드 및 수학 등 추론 능력이 필요한 분야에서 성능 개선 폭이 큼
• •동일 성능 구현 시 파라미터 확장 방식보다 메모리/지연 시간 효율이 월등함
• •배치 사이즈가 작은 엣지 환경에서 실질적인 배포 이점 제공

• •전체 학습 데이터의 2%만 사용하여 병렬 스케일링 성능 확보 가능
• •기존 모델 가중치를 고정한 채 사후 적용(Plug-in) 가능한 범용성
• •시나리오에 따라 P값을 조정하여 성능과 비용을 동적으로 제어

PEFT(Parameter-Efficient Fine-Tuning)는 소수의 파라미터만 학습시켜 대형 모델을 특정 용도에 맞게 조정하는 기술이다.