SLAI T-Rex: Ascend NPU SuperPOD에서 트릴리언 규모 MoE 모델 후처리와 OR 특화 SFT를 결합한 전층 최적화 실무 보고

대규모 MoE 모델을 실제 하드웨어에서 후처리(post-training)할 때 메모리 병목과 통신 비중, 비효율적 커널 실행이 전체 학습 효율을 제한한다는 문제가 존재한다. 본 연구는 Ascend NPU SuperPOD 환경에서 모델-레벨 병렬성, 연산·통신 조율, 저수준 커널 최적화를 계층적으로 통합해 이 문제를 완화했다. 그 결과로 연산 활용도와 학습 안정성을 동시에 개선하여 대규모 MoE를 활용한 도메인 특화 모델 구축이 현실적인 수준으로 진입했다.

대규모 MoE 모델의 후처리 과정에서 가장 큰 제약은 메모리 사용량과 통신 패턴의 비효율성이다. MoE는 많은 파라미터를 가지지만 입력마다 활성화되는 전문가가 제한되어 실제 연산과 파라미터 배치 간 불일치가 발생하고, 이로 인해 노드 간 통신과 메모리 스와핑이 성능 병목으로 작동한다. 이러한 구조적 병목은 NPU 계열의 집적된 하드웨어에서 더욱 두드러지므로 하드웨어 친화적 최적화가 필요하다. 계층적 최적화 원리는 문제를 모델-레벨 병렬성, 연산-통신 조율, 저수준 커널 최적화의 세 계층으로 분리하여 각 계층에서 병목을 해소하는 방식이다. 모델-레벨 병렬성에서는 파라미터와 전문가의 배치를 하드웨어 토폴로지에 맞춰 재배열해 불필요한 데이터 이동을 줄이고, 연산-통신 조율 단계에서는 통신을 계산과 겹치게 하거나 재구성해 대기 시간을 줄이며, 저수준 커널 단계에서는 NPU의 연산 패턴에 맞춘 커널 합치기와 메모리 접근 최적화를 적용한다. 이 접근은 단일 계층 최적화보다 상호작용하는 병목을 동시에 해결하여 전체 MFU를 끌어올리는 효과가 있다. 시스템 효율성 개선이 확보되면 후속으로 도메인 특화 학습 파이프라인을 안정적으로 운영할 수 있다. CPT 단계는 도메인 자료와 합성 데이터를 결합해 모델이 도메인 특성을 사전적으로 흡수하도록 하고, 이어지는 SFT 단계는 솔버 검증을 포함한 정제된 샘플로 모델의 문제 해결 능력을 미세조정한다. 이렇게 시스템 최적화와 도메인 특화 데이터 파이프라인을 결합하면 대규모 MoE의 계산 비용을 제어하면서도 수학적 모델링과 최적화 문제에 강한 모델을 실용적으로 얻을 수 있다.

전체 접근은 세 계층의 최적화 축을 수립해 Ascend NPU SuperPOD 위에서 동작하도록 구성했다. 첫 번째 축은 모델-레벨 병렬성으로, 전문가 분포와 파라미터 배치를 하드웨어 네트워크 토폴로지에 맞춰 재조직함으로써 불필요한 데이터 전송을 줄이고 메모리 로컬리티를 개선했다. 두 번째 축은 연산과 통신의 조율로, 통신 단계와 계산 단계를 재배치해 비활성 대기 시간을 최소화하고 통신 오버헤드를 경감했다. 세 번째 축은 저수준 커널 실행 최적화로, NPU에서의 커널 실행 경로를 재검토하여 메모리 접근 패턴과 연산 병합을 통해 실효 FLOPs를 끌어올렸다. 이 단계에서 커널 레이아웃 변경과 메모리 버퍼 전략 조정이 포함되어 MFU 개선에 직접적으로 기여했다. 프레임워크는 이 세 축을 통합하는 조정 계층을 두어 각 축의 최적화가 상호괴리 없이 동작하도록 설계되었다. 후처리 워크플로에서는 CPT와 SFT 파이프라인을 연계해 도메인 데이터와 솔버-검증 합성 문서를 결합했다. CPT 단계는 도메인 자원 집계를 통해 모델이 도메인 특유의 구조를 사전 학습하도록 하는 반면 SFT 단계는 인간 레이블 혹은 솔버 검증된 샘플로 모델의 출력 정확성을 높였다. 파이프라인 구성은 데이터 생성, 검증, 샘플링 전략을 포함하며 이 모든 과정이 최적화된 학습 인프라에서 안정적으로 수행되도록 구현되었다.

시스템 최적화의 핵심 정량 지표로 Model FLOPs Utilization(MFU)이 보고되었고 최종 MFU는 34.22%로 측정되었다. 이 값은 동일한 실험 조건의 오픈소스 기준 레시피 대비 2.93배 향상된 수치로 제시되어 계층적 최적화가 하드웨어 연산 활용도를 크게 개선했음을 보여준다. 성능 개선과 더불어 학습의 안정성도 확보되어 대규모 후처리 파이프라인 운용이 가능했다. 도메인 특화 실험에서는 DeepSeek-V4-Flash 기반의 모델을 CPT와 SFT 파이프라인으로 학습시킨 결과가 제시되었다. 생성된 SFT 데이터셋은 10K개의 고품질 샘플로 구성되었고 네 가지 과제 범주와 세 가지 표현 형식을 포함해 문제 다양성을 확보했다. 이 데이터로 미세조정한 특화 모델은 평균 제로샷 Pass@1 71.81%를 기록했으며 비교 대상으로 제시된 GPT-5.4-Mini 및 기본 DeepSeek-V4-Flash보다 각각 3.98 및 11.27 포인트 높은 성능을 보였다. 결과 해석 관점에서 시스템 최적화와 도메인 특화 데이터의 결합이 복잡한 수학적 모델링과 최적화 문제에 대한 제로샷 성능을 동시에 끌어올렸음을 시사한다. 특히 하드웨어 친화적 계층적 최적화로 연산 활용도를 개선한 것이 대규모 모델을 실험적으로 유의미하게 운영 가능하게 만든 핵심 요소로 나타났다. 추가적인 비교 실험과 ablation이 논문 전문에서 제공되었을 가능성이 있으나 초록 기반 결과만으로도 실무적 가치가 분명하다.

전체 시스템은 트릴리언 파라미터급 MoE 모델을 대상으로 후처리와 도메인 특화 SFT를 수행하는 전층 파이프라인으로 구성되었다. 하드웨어 측면에서는 Ascend NPU SuperPOD의 토폴로지와 실행 특성을 고려해 모델-레벨 파라미터 배치와 통신 패턴을 재구성했고, 소프트웨어 측면에서는 연산과 통신의 조율 및 커널 수준의 메모리·연산 최적화를 적용했다. 이러한 구조는 대규모 파라미터 대비 실제 연산 활용의 불일치로 발생하는 시스템 레벨 병목을 완화하는 데 중점을 두었다. 핵심 메커니즘은 세 계층의 상호보완적 최적화로 요약된다. 모델-레벨 병렬성에서는 전문가(expert)와 파라미터의 분산 전략을 하드웨어 토폴로지와 정합시키는 방식으로 불필요한 교환을 최소화했고, 연산-통신 조율 계층에서는 통신 단계의 스케줄을 재배치하거나 계산과 겹치게 해 통신 대기시간을 줄였다. 저수준 커널 계층에서는 NPU에서의 메모리 접근 패턴과 연산 병합을 재설계해 실제 사용 가능한 FLOPs를 증가시켰다. 기술적 차별점은 하드웨어 특화 최적화와 도메인 특화 학습 파이프라인의 결합이다. 많은 prior work가 알고리즘적 효율성이나 모델 설계에 집중한 반면 본 연구는 Ascend NPU라는 특정 인프라 환경에서 실무적으로 동작 가능한 수준까지 시스템을 튜닝한 점이 특징이다. 또한 CPT로 도메인 자원을 집적하고 솔버 검증 합성 데이터를 포함한 SFT 파이프라인을 연계해 수학적 모델링 역량을 개선한 것도 기술적 차별화 요소이다. 구현 및 학습 세부사항은 초록에 제한적으로만 제시되어 있으나 핵심 지표와 데이터 파이프라인 구성은 명시되어 있다. MFU 측정과 2.93배 개선 수치는 최적화 효과의 정량적 근거로 사용되었고, SFT 데이터셋은 10K 샘플 규모로 네 가지 과제 범주와 세 가지 표현을 포함한다. 논문 전문에서 하이퍼파라미터, 통신 스케줄링 알고리즘, 커널 변경 세부사항이 추가로 제공되었을 가능성이 높다.