Soofi S 30B-A3B: 주권적 오픈소스 독일어·영어 파운데이션 모델 사전학습 보고서

왜 중요한가

Soofi S는 주권적 인프라에서 공개 가능한 모든 학습 산출물을 함께 공개하면서 긴 문맥과 고동시성 환경에서의 실제 추론 비용 문제를 모델 설계 수준에서 해결한 사례이다. 이 접근은 같은 활성 파라미터 예산으로도 긴 컨텍스트에서의 처리량을 크게 개선하고 독일어에 특화된 데이터 배분을 통해 지역적 능력을 끌어올린다는 점에서 배포성과 재현성 요구를 동시에 충족한다.

핵심 기여

하이브리드 Mamba–MoE 아키텍처로 긴 문맥 효율성 확보

Nemotron 3 Nano 레퍼런스 설계를 채택하여 Mamba-2 기반의 고정 크기 상태와 소수의 GQA 레이어만 KV 캐시를 유지하는 구조로 알맞게 조합했다. 이로 인해 토큰당 활성 파라미터는 약 3.2B로 유지되면서도 문맥이 늘어나도 추론용 KV 캐시 부담이 거의 일정하게 유지되어 긴 컨텍스트에서 높은 TPS를 실현했다.

독일어 비중을 의도적으로 높인 3단계 데이터 커리큘럼

약 27T 토큰의 사전학습을 세 단계(광범위 Phase1, 고품질 Annealing Phase2, 길이확장 Phase3)로 구성하고 Phase2에서 독일어 비중을 15.3%까지 올렸다. 각 소스별 토큰·에폭·효과적 기여를 공개하여 동일한 혼합을 재구성할 수 있도록 완전한 토큰 회계자료를 제공했다.

완전한 재현성 산출물 공개 약속

가중치, 선택된 중간 체크포인트, 소스별 토큰 회계, 학습 하이퍼파라미터와 학습 코드·평가 코드를 공개하겠다고 명시했다. 상업 라이선스가 허용하지 않는 경우에는 집계 통계와 정확한 혼합 기여도를 제공하여 감사 가능성을 확보했다.

대규모 인프라에서의 실무적 학습·서빙 파이프라인 운영

독일 국내의 Industrial AI Cloud 상에서 최대 512 B200 GPU를 사용해 학습을 수행했고 약 253,000 B200 GPU-시간을 소비했다. MoE 라우팅 특성에 맞춰 노드 내 NVLink 중심의 배치와 expert-parallel 설정을 유지하여 대규모 통신 병목을 줄였다.

핵심 아이디어 이해하기

대형 Transformer에서 긴 문맥을 처리할 때 병목은 모델 파라미터 수 자체가 아니라 각 시퀀스별로 유지되는 어텐션의 키·값(KV) 캐시와 그로 인한 메모리 대역폭 부담이다. 표준의 full-attention 구조는 시퀀스 길이에 따라 KV 캐시가 선형으로 증가하므로 긴 문맥과 다중 동시 요청이 동시에 발생하는 환경에서는 실효 처리량이 크게 떨어진다. Soofi S는 이 근본 비용을 낮추기 위해 시퀀스 혼합을 대부분 Mamba-2 유형의 고정 상태 갱신으로 처리하고 KV 캐시는 소수의 GQA 레이어에만 유지하여 토큰당 추가 상태 증가를 억제한다.

방법론

모델 설계는 Nemotron 3 Nano 참조구조를 그대로 사용하여 52개 레이어(23 Mamba-2, 23 MoE, 6 GQA)를 조합했다. MoE 레이어는 라우터 기반으로 토큰당 활성 전문가 수를 제한하여 전체 파라미터는 약 31.6B지만 순전파 시 활성 파라미터는 약 3.2B 수준을 유지했다. 학습은 Warmup–Stable–Decay(WSD) 스케줄을 적용하여 먼저 광범위 데이터로 안정적 표현을 학습한 뒤 고품질 데이터로 집중시키는 앤일링 단계로 전환했고 마지막으로 1M 토큰 길이의 long-context 확장을 별도 병렬설정으로 추가했다.

주요 결과

Soofi S는 공개된 비교 대상들의 동일한 평가 파이프라인에서 영어·독일어 집계 성능과 코드·수학·추론 항목에서 상위권 결과를 기록했다. 오픈소스 모델군과의 비교에서는 영어 집계 70.1, 독일어 집계 79.1을 달성했고 코드와 수학 평가에서 다수의 벤치마크에서 최고점을 얻었다. 아키텍처 동일한 Nemotron 3 Nano와 비교하면 독일 특화 데이터 배분으로 GLP-DE에서 +15.1 포인트, 전체 독일 집계에서 +4.2 포인트의 개선이 관찰되었다.

기술 상세

전체 구조는 52개 레이어로 구성되며 Mamba-2 레이어가 시퀀스 혼합을 담당하고 23개의 MoE 레이어는 전문가 라우팅으로 용량을 확장한다. 테이블화된 하이퍼파라미터로는 모델 차원 2688, 어텐션 쿼리 헤드 32, KV 헤드 2, 활성화 전문가 수 6, 전문가 차원 1856 등이 사용되었고 임베딩을 포함해 총 파라미터는 약 31.6B이다. 최적화는 AdamW를 사용했고 학습은 bf16 혼합정밀도로 수행되었으며 기본 WSD 스케줄에서 피크 lr=1e-3, decay 끝 최소 lr=1e-5로 설계되었다.

한계점

논문 저자들은 세 가지 한계를 명확히 보고했다. 첫째, Minerva 평가에서 초기 평가 설정이 생성 중단 규칙으로 인해 점수가 왜곡되어 평가 프로토콜을 수정한 후 최종 점수를 보고했다. 둘째, 경쟁형 수학(특히 독일어 Minerva MATH-DE)에서는 아직 대형 밀집 모델 대비 격차가 존재했다. 셋째, 공개 데이터와 활성 파라미터 제한으로 인해 오픈도메인 사실회수(NaturalQuestions)에서는 가장 큰 밀집 모델들에 비해 소폭 뒤처지는 경향이 관찰되었다.

실무 활용

Soofi S는 긴 문맥과 고동시성 배포 환경에서 추론 처리량을 우선하는 응용에 적합하며, 독일어 중심 서비스나 바이링궐 애플리케이션에 유리한 성능·데이터 균형을 가진다. 공개된 가중치와 학습 산출물을 통해 연구 검증, 지역화된 서비스 실험, 기업 내부 재학습 등에서 활용할 수 있다.

대규모 동시 접속을 요구하는 장기 대화형 챗봇의 백엔드로 사용하여 문맥 길이에 따른 처리량 저하를 줄이는 배포
독일어 기술 문서 자동화와 코드 생성 파이프라인에서 별도 지역화된 SFT 없이도 상위 성능 확보
연구 목적으로 데이터 혼합·에폭·토큰 회계가 공개된 상태에서 재현 가능한 실험 진행
1M 토큰 단위의 긴 문서 요약·분석 파이프라인에서 전처리·토큰화 전략 검증

코드 공개 여부: 공개

코드 저장소 보기

키워드

Mixture-of-Experts(MoE·혼합 전문가 아키텍처)Mamba-2(Mamba-2 레이어)Long-context(긴 컨텍스트)Warmup–Stable–Decay(WSD 학습률 스케줄)KV-cache(KV 캐시)

용어 해설

Mamba-2: — Mamba-2는 순환 상태를 이용해 시퀀스 혼합을 수행하는 레이어 설계로, 전체 어텐션의 N² 연산을 피하고 상태 크기를 고정시켜 긴 문맥에서의 메모리·추론 비용을 낮춘다. 이 논문에서는 주로 시퀀스 혼합을 Mamba-2가 담당하여 KV 캐시 증가를 억제하는 역할을 했다.
그룹드-쿼리 어텐션(Grouped-Query Attention): — Grouped-Query Attention은 키·값 헤드를 소수로 제한하고 쿼리 헤드를 그룹화해 어텐션 상태의 메모리 증가를 줄이는 방법으로, KV 캐시의 토큰당 크기를 축소하여 긴 컨텍스트 추론에서 메모리 대역폭 부담을 줄인다.
혼합 전문가(MoE)(Mixture-of-Experts (MoE)): — Mixture-of-Experts는 전체 파라미터 중 일부 전문가만 토큰 단위로 활성화하는 라우팅 기법으로, 총 용량을 키우면서 토큰당 활성 파라미터를 작게 유지해 추론 비용 대비 표현력을 개선한다. Soofi S는 MoE 레이어로 활성 파라미터를 3B 수준으로 유지했다.
키-값 캐시(KV cache): — KV 캐시는 디코딩 중 어텐션을 위해 과거 토큰의 키·값을 저장하는 구조로, 문맥 길이가 늘어나면 토큰당 저장 공간과 읽기 비용이 선형으로 증가하여 긴 컨텍스트에서 처리량 저하를 유발한다. Soofi S는 KV 캐시를 소수 레이어에만 유지해 이 비용을 최소화했다.
Warmup–Stable–Decay 학습률 스케줄(Warmup–Stable–Decay (WSD)): — WSD는 초기 선형 워밍업, 장기간의 안정 구간, 이후 감쇠(decay)를 순차 적용하는 학습률 스케줄로, 초반에는 폭넓은 데이터에 노출하고 감쇠 구간에서 고품질 데이터에 집중시키는 커리큘럼 설계에 유리하다. 논문에서는 20T 토큰 지점에서 decay를 시작했다.

Soofi S 30B-A3B: 주권적 오픈소스 독일어·영어 파운데이션 모델 사전학습 보고서

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 기사

2026년 1~5월 LLM 논문 목록

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

관련 토론

댓글

관련 기사

2026년 1~5월 LLM 논문 목록