TL;DR

이 모델은 Nemotron-3-Super-120B를 출발점으로 Iterative Puzzle이라는 단계적 압축·회복 파이프라인을 적용해 총 파라미터와 활성 파라미터를 120.7B/12.8B에서 약 75.3B/9.3B로 축소한 배포 최적화형 LLM이다. 설계는 Latent MoE(Mamba+MoE+Attention) 아키텍처와 Multi-Token Prediction을 유지하면서 층별 비균질 MoE 채널·활성 전문가 수 감소와 Mamba SSM 상태 축소를 통해 디코드 효율을 높였고, 각 압축 단계 뒤에 24B·43.2B·52.8B 토큰 단위의 지식증류와 후속 RL 복구로 성능을 회복했다. 그 결과 동일 사용자 처리량 제약에서 8×B200 단일 노드 기준 약 2배 처리량을 보고했고 1M 토큰 환경에서 H100 단일 인스턴스의 동시 요청을 1에서 8로 늘리는 개선이 나타났으며 NVFP4/FP8 양자화 옵션으로 Blackwell·Hopper 계열 GPU에 맞춘 배포를 지원한다. 다만 일부 벤치마크에서 BF16 대비 소폭의 성능 차이가 존재하므로 품질·지연·인프라 비용의 트레이드오프를 운영 환경에서 검증해야 한다.

핵심 포인트

• Iterative Puzzle의 단계적 프루닝·지식증류·RL 복구를 결합해 압축 후 품질 회복을 체계화한 점이 차별화 요소이다.
• 층별 비균질 MoE 채널과 활성 전문가 수 조절을 통해 민감한 층에는 용량을 보존하면서 전체 활성 파라미터를 크게 줄인 구조적 설계가 적용되었다.
• Mamba SSM 상태 축소와 MTP의 결합으로 긴 문맥 디코드와 speculative decoding에서 서빙 처리량을 동시에 개선하도록 설계되었다.
• 하드웨어별 포맷(FP8 for Hopper, NVFP4 for Blackwell)을 제공해 실제 인프라에서의 배포 효율을 높였다는 점이 실무적 차별점이다.

벤치마크