본문으로 건너뛰기
Amazon Science

LLM 아키텍처 최적화를 통한 추론 효율성 향상: 스케일링 법칙의 새로운 접근

LLM 아키텍처의 히든 사이즈와 MLP-어텐션 비율을 최적화하여 정확도 손실 없이 추론 처리량을 최대 47% 개선하는 새로운 스케일링 법칙을 제시함.

섹션별 상세

01
기존 Chinchilla 스케일링 법칙은 모델 내부 아키텍처 변수를 고려하지 않아 동일 파라미터 수에서도 추론 효율성 차이가 발생한다. 연구진은 히든 사이즈, MLP-어텐션 비율, GQA를 아키텍처 변수로 도입하여 이를 보완했다.
히든 사이즈와 MLP-어텐션 비율에 따른 처리량 및 학습 손실 변화.
Chart히든 사이즈와 MLP-어텐션 비율이 처리량과 손실에 미치는 영향을 보여주며, 처리량이 증가하면서 손실이 감소하는 최적 구간을 시각화함.
02
MLP-어텐션 비율이 4.8인 LLaMA-3.2와 달리, 최적의 비율은 1.0 부근으로 나타났다. 기존 모델들은 MLP 레이어에 파라미터를 과도하게 할당하여 효율성이 저하된 상태였다.
03
최적화된 아키텍처를 적용한 Surefire 모델은 LLaMA-3.2 대비 정확도를 유지하거나 상회하면서 H200 GPU와 SGLang 환경에서 처리량을 최대 47% 개선했다.
다양한 아키텍처 변형에 따른 학습 손실 비교.
ChartPanda-1B가 U자형 곡선의 최저점에 위치하며, Surefire-1B는 약간의 손실을 감수하고 높은 처리량을 확보하는 지점에 위치함을 보여줌.
04
소규모 모델(80M~297M 파라미터)에서 도출된 스케일링 법칙은 1B~3B 모델에서도 정확하게 예측 성능을 발휘했다. 이를 통해 대규모 학습 전 저비용으로 최적 아키텍처 탐색이 가능하다.

기술

  • LLaMA-3.2
  • vLLM
  • SGLang
  • A100
  • H200
AI 분석 전체 내용 보기

AI 요약 · 북마크 · 개인 피드 설정 — 무료

출처 · 인용 안내

원문 발행 2026. 05. 15.수집 2026. 05. 15.출처 타입 RSS

인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.