TL;DR

GigaChat 3.5 Ultra는 총 432B 파라미터 규모의 MoE 기반 모델로서 토큰당 활성화되는 파라미터를 28B로 유지해 추론 비용을 낮추는 동시에 MLA와 GatedDeltaNet 선형 어텐션을 레이어별로 혼용하는 하이브리드 설계를 도입해 긴 컨텍스트에서의 메모리 부담을 줄였다. GatedNorm을 통해 RMSNorm 이후에 곱셈형 게이트로 피처별 스케일을 명시적으로 제어해 대형 모델 훈련의 안정성을 확보했고 native FP8로 전체 학습을 수행해 메모리·대역폭 효율을 높였다. 두 개의 MTP 헤드와 speculative decoding 설정으로 greedy 디코딩 처리량을 1.5×~2.2×까지 가속했고 벤치마크에서는 MMLU, HumanEval, MATH 등에서 이전 세대 대비 개선된 점수가 보고되었다. 결과적으로 긴 문맥과 코드·수학 중심 워크로드에서 메모리 효율과 처리량 우위를 확보했으나 구체적 컨텍스트 길이 한계나 실제 배포시 필요한 클러스터 규모는 별도 검증이 필요하다.

핵심 포인트

• MLA와 GatedDeltaNet 선형 어텐션을 레이어별로 혼용한 하이브리드 어텐션 설계를 채택해 긴 컨텍스트에서 메모리 효율을 높였다.
• MoE로 전체 파라미터는 크지만 토큰당 활성 파라미터를 28B로 제한해 동일 총량 대비 추론 비용을 크게 낮췄다.
• GatedNorm을 도입해 RMSNorm 뒤에서 명시적 게이트로 신호 스케일을 조절함으로써 대규모 학습 안정성을 개선했다.
• 학습 전 과정을 native FP8로 수행하고 MTP 다중 토큰 헤드를 활용해 추론 처리량을 실질적으로 향상시켰다.

벤치마크

이미지 분석