한 단계 지연(One-Step) 그래디언트가 대규모 비동기 파이프라인 병렬 LLM 사전학습의 장벽이 아님

왜 중요한가

대규모 LLM 학습에서 파이프라인 병렬화는 GPU 활용을 높이지만 동기화로 인한 파이프라인 버블이 효율을 떨어뜨린다. 본문은 한 단계 지연(one-step delay)을 유지하는 PipeDream-2BW와 적절한 옵티마이저, 그리고 Error Feedback 보정을 결합하면 비동기 파이프라인에서도 동기화 대비 손실 열화를 막을 수 있음을 실증했다. 결과적으로 비동기 파이프라인이 대규모 사전학습에서 실용적인 대안이 될 수 있다는 근거를 제공한다.

핵심 기여

옵티마이저별 지연 민감도에 대한 체계적 실험 분석

다양한 현대 옵티마이저를 135M·360M 모델에서 동기 대 비동기(one-step delay) 조건으로 비교하여 옵티마이저 특성에 따른 성능 저하 차이를 규명했다. AdamW와 MARS는 한 단계 지연에서 심각한 품질 악화를 겪은 반면 Muon, Adan, NorMuon, AdaMuon, SOAP, Lion 등은 작은 손실 격차를 유지했다. 추가적으로 모멘텀(첫 모멘트 계수)의 증가가 지연으로 인한 손실 증가를 일관되게 완화한다는 경향을 발견했다.

Error Feedback 기반 업데이트 수준 보정 기법 제안 및 실험적 검증

지연된 업데이트를 직접 보정하는 가벼운 업데이트 수준의 Error Feedback(EF) 수식을 도입하여 표준 비동기 업데이트에 추가 보정항을 더하는 방식(x_{t+1}=x_t−2u_{t−1}+u_{t−2})을 사용했다. EF는 Muon 등 이미 강건한 옵티마이저에서 남은 sync-async 격차의 약 50–70%를 회복했고, 특히 AdamW·MARS에서 손실 격차의 85–90%를 줄여 큰 개선을 확인했다. 이 보정은 모델 크기 한 벌 분량의 추가 버퍼만 요구하여 실용적 비용으로 적용 가능하다.

PipeDream-2BW 일정의 고정 지연(한 단계) 유리성 검증

원래 PipeDream의 변수 지연(variable delay)과 PipeDream-2BW의 고정 한 단계 지연을 비교하여 일정 차원에서 고정 지연이 확장성 측면에서 우수함을 확인했다. 원본 PipeDream은 파이프라인 단계 수가 증가할수록 수렴이 크게 저하되었으나 PipeDream-2BW는 지연을 일정하게 유지하여 큰 파이프라인 깊이에서도 안정성을 유지했다. 이 결과는 대규모 파이프라인에서 일정 지연 스케줄이 근본적으로 중요함을 시사한다.

지연 Muon에 대한 수렴 이론 정리

Linear Minimization Oracle(LMO) 계열인 Muon에 대해 지연된 그래디언트 환경에서의 수렴 보장을 제시했다. 가정 하에서 Algorithm 2(Delayed Muon)의 수렴 경계식을 유도하여 지연으로 추가되는 잡음항이 적절한 학습률·모멘텀 설정에서 작다고 수학적으로 유도했다. 이론 결과는 실험에서 관찰된 Muon의 실용적 강건성과 일치하는 정량적 근거를 제공한다.

대규모 검증: 2B·10B MoE 사전학습에서 비동기 파이프라인의 실용성 시연

Muon과 Error Feedback을 사용하여 2B 및 10B MoE 모델을 최대 200B 토큰까지 학습한 결과를 보고했다. 10B MoE 실험에서는 비동기 PipeDream-2BW + EF가 동기화 기준과 동일한 최종 검증 손실(1.906)을 달성하여 하이퍼파라미터를 변경하지 않고도 품질 격차를 제거했다. 이로써 one-step delay가 대규모 MoE 사전학습의 근본적 장벽이 아님을 실험적으로 확인했다.

관련 Figure

Chart
플롯은 모멘텀 계수 증가가 대부분 옵티마이저에서 sync-async 격차를 일관되게 감소시킨다는 추세를 수치적으로 확인한다. 이는 지연 상황에서 즉각적 그래디언트에 대한 의존도를 낮추고 누적된 모멘텀에 의존하는 방식이 잡음과 불안정성을 억제함을 시사한다. 일부 옵티마이저에서는 높은 모멘텀이 동기 기준 자체의 불안정성으로 이어질 수 있음을 부가적 주의점으로 제시한다.
다양한 모멘텀(또는 β2등) 설정에서 동기·비동기 손실 격차의 로그 차이를 모멘텀 감쇠 비율에 대해 플로팅한 그래프이다.

핵심 아이디어 이해하기

대규모 파이프라인 병렬화는 각 스테이지가 서로 다른 시점의 파라미터로 그래디언트를 계산하게 하여 그래디언트의 '지연(staleness)'을 유발한다. 지연이 크면 옵티마이저가 적용하는 업데이트가 현재 모델 상태와 불일치하여 수렴 경로가 흔들리거나 손실이 악화되는 위험이 존재한다. 따라서 비동기 파이프라인의 핵심 문제는 지연 자체보다 지연에 대해 안정한 옵티마이저 동역학을 확보하는 것이라고 본다.

관련 Figure

Chart
AdamW의 지연 변형은 초기에 동기 경로에서 급격히 이탈하여 스파이크와 장기적인 성능 저하를 보이지만 Muon은 지연 상황에서도 동기 경로와 유사한 궤적을 유지한다. 동기 시작(synchronous start) 같은 휴리스틱은 일부 옵티마이저에서 일시적 안정화 효과를 줬으나 장기적 최종 손실을 완전히 회복하지는 못했다. 이 플롯은 옵티마이저 내부의 1차 모멘트 동역학이 지연에 민감한 주된 원인임을 암시한다.
135M/360M 스케일에서 AdamW와 Muon의 동기·지연 학습 손실 경로를 비교한 시계열 플롯이다.

방법론

연구는 세 축으로 구성된 실험적·이론적 접근을 사용했다. 첫째, 135M·360M 작은 모델에서 다양한 옵티마이저(AdamW, Muon, SOAP, Adan, Lion, Nadam 등)를 동일한 동기 레시피로 트레이닝하고 동일한 배치·스케줄 조건에서 한 단계 지연을 도입하여 sync-async 격차를 정량화했다. 둘째, 일정 레벨의 지연을 보장하는 PipeDream-2BW 스케줄을 사용해 변수 지연의 영향과 구분하였고, 업데이트 수준의 Error Feedback 보정을 도입하여 그 효과를 비교했다. 셋째, Muon에 대해 지연 상황에서의 수렴 정리를 유도하고, 이를 바탕으로 2B·10B MoE 모델을 200B 토큰 규모로 확장 실험하여 실무적 타당성을 검증했다.

관련 Figure

Chart
각 옵티마이저의 기하학적 기여 차이를 보여주며 Muon 및 일부 Muon 변형은 고모멘텀 설정에서 특히 강건함을 유지한다. Adan 계열은 높은 β1 값을 통해 지연 민감도를 낮춘 사례로 제시되어 옵티마이저 설계 차원이 중요함을 보강한다. 그래프는 옵티마이저별 하이퍼파라미터 튜닝이 지연 환경에서 성능 회복에 결정적임을 정량적으로 뒷받침한다.
Muon·Adan·Lion 등 특정 옵티마이저군에 대해 모멘텀과 β 계수 변화가 sync-async 격차에 미치는 영향을 비교한 그래프이다.

Chart
원본 PipeDream은 P가 증가함에 따라 성능이 급격히 악화되는 반면 PipeDream-2BW는 깊은 파이프라인에서도 안정적으로 동작한다는 경향이 뚜렷하다. Muon과 EF의 조합은 얕은 파이프라인에서는 원본 PipeDream의 격차 일부를 메울 수 있으나, 깊이가 커지면 변수 지연 자체가 주요한 성능 저하 원인으로 남는다. 이 그림은 스케줄 설계가 Async PP 확장성에 핵심적임을 실증적으로 강조한다.
원본 PipeDream(가변 지연)과 PipeDream-2BW(고정 한 단계 지연)를 파이프라인 단계 수 P별로 비교한 막대그래프 집합이다.

주요 결과

소규모 벤치마크에서 AdamW와 MARS는 한 단계 지연에서 심각한 검증 손실 증가를 보였고 일부 경우 발산에 가까운 성능 저하가 관측되었다. 반면 Muon, Adan, NorMuon, AdaMuon, SOAP, Lion 등 최신 옵티마이저는 지연에 대해 상대적으로 강건하여 최종 손실 격차가 0.03 이내로 유지되었다. Error Feedback은 Muon·SOAP 등에서 남은 sync-async 격차의 절반 이상을 회복했고, 대규모 10B MoE 실험에서는 Async PP + EF가 동기화 기준과 동일한 최종 검증 손실(1.906)을 달성하여 스케일에서도 성능 복원이 가능함이 확인되었다.

관련 Figure

Chart
곡선은 비동기 실행이 학습 초기에 약간의 지연을 보이지만 전체 학습 과정에서 안정적으로 수렴함을 나타낸다. Error Feedback을 적용한 비동기 곡선은 최종 단계에서 동기 기준과 거의 일치하여 최종 손실을 복원함이 관측된다. 이 그림은 대규모 MoE 사전학습에서도 제안한 조합이 품질 열화를 제거할 수 있음을 직접적으로 시사한다.
10B MoE 모델의 학습 손실 곡선으로 동기, 비동기(기본), 비동기+Error Feedback 조건을 비교한 그래프이다.

Chart
그래프는 AdamW가 한 단계 지연에서 큰 성능 저하를 겪는 반면 Muon·Adan·SOAP 등은 상대적으로 작은 격차를 보이는 경향을 나타낸다. Error Feedback은 대부분의 옵티마이저에서 손실 증가폭을 줄여 표준 비동기 대비 품질 향상을 확보하는 경향이 확인된다. 이 결과는 옵티마이저 선택이 지연 내성의 핵심 변수임을 실험적으로 지지한다.
360M 모델에서 여러 옵티마이저의 검증 손실을 동기·비동기·비동기+EF 조건으로 비교한 막대그래프이다.

Chart
50B에서 200B 토큰 범위의 스케일링 곡선이 거의 평행하게 이동하여 한 단계 지연이 학습 시간 확장에 따라 점증적 장벽을 형성하지 않음을 시사한다. Error Feedback은 모든 훈련 기간에서 일관되게 남은 격차를 줄여 장기 학습에서도 보정 효과가 유지됨을 보여준다. 이 결과는 대형 사전학습에서 Async PP의 확장 가능성을 경험적으로 뒷받침한다.
트레이닝 토큰 수(D)에 따른 동기·비동기·비동기+EF의 검증 손실 곡선을 비교한 스케일링 플롯이다.

기술 상세

PipeDream-2BW 일정은 M개의 마이크로배치를 누적한 뒤 한번에 업데이트하여 모든 스테이지에서 일정한 한 단계 지연(1-step delay)을 보장한다. 이로 인해 원본 PipeDream에서 나타나는 스테이지별 변수 지연이 제거되고 weight stashing 비용 또한 한 개 복사본으로 줄어든다. 지연(마이크로배치 누적 및 업데이트 타이밍)과 관련한 메모리·통신 비용은 Appendix F.1의 정량적 논의에서 소폭으로 평가되었다.

한계점

논문 자체가 지적하듯이 모멘텀이 왜 지연 내성에 기여하는지에 대한 완전한 역학적 설명이 아직 부족하다. 실험 그리드(배치크기·학습률) 대부분은 135M 모델에서 상세하게 탐색되었고 아주 장기(수조 토큰) 스케일에 대한 검증은 이루어지지 않았다. 또한 WPipe 계열 스케줄과의 비교는 보조적 수준으로만 수행되어 다른 일정 설계에 대한 포괄적 결론은 유보된다.

실무 활용

연구 결과는 대규모 LLM 사전학습에서 파이프라인 버블로 인한 자원 낭비를 줄이기 위해 비동기 Pipeline Parallelism을 실무에 적용할 수 있는 실질적 근거를 제공한다. Muon 같은 강건한 옵티마이저와 업데이트 수준의 Error Feedback 보정을 결합하면 하이퍼파라미터를 크게 변경하지 않고도 동기 기준의 품질을 유지할 수 있다. 파이프라인 깊이가 클수록 PipeDream-2BW 같은 고정 지연 스케줄을 우선 고려해야 한다.

대규모 MoE 모델 학습에서 GPU 유휴 시간을 줄여 전체 학습 비용을 절감하는 분산 학습 파이프라인 설계.
기존 동기 파이프라인을 비동기 PipeDream-2BW로 전환하면서 옵티마이저를 Muon으로 교체하여 품질 저하 없이 처리량을 높이는 운영 전략.
학습 시스템에서 한 단계 지연을 허용하는 경우 Error Feedback을 소프트웨어 수준에서 추가하여 안정성을 확보하는 런타임 보완.

코드 공개 여부: 미확인

키워드

Pipeline Parallelism(파이프라인 병렬화)PipeDream-2BW(PipeDream-2BW 일정)Error Feedback(EF, 업데이트 보정)Muon(옵티마이저)Mixture-of-Experts(MoE 모델)

용어 해설

파이프라인 병렬화(Pipeline Parallelism): — 모델을 연속적인 스테이지로 수직 분할하여 서로 다른 GPU에서 순차적으로 전·역전파를 처리하는 분산 학습 방식이다. 각 스테이지가 서로 다른 마이크로배치를 처리하면서 파이프라인을 채우는 일정 때문에 동기화가 필요하면 '버블'이 생겨 자원이 유휴 상태가 될 수 있다. 대규모 모델에서 메모리 제약을 완화하면서도 GPU 활용도를 높이는 핵심 수단으로 사용된다.
PipeDream 스케줄(PipeDream): — 파이프라인 병렬 실행에서 각 스테이지가 로컬 역전파 직후 파라미터를 갱신하는 스케줄로, 스테이지별로 다른 지연(delay)이 발생할 수 있다. 지연 혼합으로 인해 서로 다른 스테이지가 서로 다른 시점의 파라미터로 그래디언트를 계산하게 되어 수렴 품질이 악화될 수 있다. 원본 PipeDream은 변수 지연(variable delay)을 유발하는 특성 때문에 대규모 파이프라인에서 성능 저하가 관찰되었다.
에러 피드백(Error Feedback): — 지연이나 압축으로 누락된 업데이트를 보상하기 위해 이전 업데이트의 잔차를 다음 단계에 더하는 기법이다. 본문 맥락에서는 한 단계 지연된 업데이트에 대해 두 배의 이전 업데이트를 적용하고 그 이전 업데이트를 더해 지연으로 발생한 오차를 보정하는 방식으로 적용되었다. 메모리 오버헤드는 모델 크기 한 벌 분량의 버퍼 추가에 그쳐 대규모 학습에서도 현실적인 보완책이다.
Mixture-of-Experts(Mixture-of-Experts (MoE)): — 네트워크 내부에 여러 개의 전문가(expert) 서브네트워크를 두고 입력에 따라 일부 전문가만 활성화하여 연산 비용을 줄이는 구조이다. 활성 파라미터 수는 전체 파라미터보다 작지만 모델 전체 파라미터는 매우 커서 분산·통신 구조에 민감하다. MoE 계열 모델은 통신 대비 연산 비율이 낮아 Pipeline Parallelism의 필요성과 민감도를 증가시킨다.

코드 예제

text

Algorithm 1 Delayed Gradient Update
0: Initial point x0, learning rate η, iterations T
0: Final point xT
1: Initialize g−1 = 0 and u−1 = 0
2: for t = 0,1,…,T−1 do
3:   Compute gradient gt
4:   Update optimizer statistics with gt−1
5:   Calculate update step ut−1(gt−1)
6:   if Standard Async or t ≤ 1 then
7:     xt+1 ← xt − ut−1(gt−1)
8:   else if Error-Feedback (Section 3.2) then
9:     xt+1 ← xt − 2·ut−1(gt−1) + ut−2(gt−2)
10:  end if
11: end for

한 단계 지연(One-step delay) 추상화를 위한 핵심 업데이트 루틴의 의사코드로, 표준 비동기 업데이트와 Error Feedback 보정식을 모두 포함한다.

text

Algorithm 2 Delayed Muon
1: input: X0, M0
2: parameters: stepsize η > 0, momentum μ ∈ (0,1), weight decay λ ∈ (0,1), number of iterations T
3: for t = 0,1,…,T−1 do
4:   Compute gradient: Gt−1 ← ∇f(Xt−1, ξt−1)
5:   Mt−1 ← (1 − μ) Mt−2 + μ Gt−1
6:   Ot−1 ← Newton-Schulz(Mt−1)
7:   Ut−1 ← η (Ot−1 + λ Xt)
8:   if Standard Async then
9:     Xt+1 ← Xt − Ut−1
10:  else if Error-Feedback then
11:    Xt+1 ← Xt − 2 Ut−1 + Ut−2
12:  end if
13: end for
14: output: XT

Muon 최적화 알고리즘의 지연(Delayed) 버전 의사코드로서 모멘텀 누적, Newton-Schulz 기반 변환, 그리고 Error Feedback 적용부를 포함한다.

한 단계 지연(One-Step) 그래디언트가 대규모 비동기 파이프라인 병렬 LLM 사전학습의 장벽이 아님

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

용어 해설

코드 예제

관련 토론

댓글

관련 피드

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

관련 토론

댓글

관련 피드