Qwen 모델의 데이터, 크기 및 컨텍스트 확장 전략: 지능을 향한 여정

• •Qwen3 학습에 총 36조 개의 토큰을 사용하여 데이터 규모를 극대화했다
• •일반 지식 학습 후 코딩/수학 데이터를 추가하는 다단계 학습 파이프라인을 구축했다
• •인터넷 데이터 외에 인류 역사상의 비디지털 지식을 포함하는 것이 향후 과제이다

데이터 확장은 모델의 기본 지식 베이스를 결정하며, 학습 단계별 데이터 믹스(Data Mix) 최적화가 성능에 큰 영향을 미친다.

• •Qwen3-Max는 1조 개 이상의 파라미터를 가진 초대형 MoE 모델이다
• •MoE 모델은 동일 성능의 Dense 모델 대비 학습 속도가 훨씬 빠르다
• •모델 크기가 커질수록 작은 모델에서 발생하던 오류(Bad cases)가 자연스럽게 해결되는 현상이 관찰됐다

MoE는 전체 파라미터 중 일부만 연산에 참여시켜 초대형 모델의 학습 및 추론 비용을 획기적으로 줄여준다.

• •사전 학습 및 사후 학습을 통해 컨텍스트 길이를 최대 256K까지 확장했다
• •YaRN 기법을 활용하여 추론 시 100만 토큰 이상의 입력을 처리할 수 있다
• •긴 컨텍스트 처리는 모델의 메모리 능력과 복잡한 추론 성능을 결정한다

외삽 기법은 모델이 학습하지 않은 길이의 텍스트를 처리할 수 있게 해주는 위치 인코딩 기술이다.

• •Gated Delta Net과 Full Attention을 결합한 하이브리드 구조를 채택했다
• •무한에 가까운 컨텍스트 길이를 처리하기 위한 아키텍처 변경을 시도했다
• •게이팅 메커니즘을 통해 모델의 학습 안정성과 성능을 동시에 확보했다

선형 어텐션은 컨텍스트 길이에 따른 연산 복잡도를 획기적으로 줄여주지만, 성능 유지를 위해 Full Attention과의 적절한 조합이 필요하다.

• •Minference 기술을 적용하여 Prefill 단계의 연산 속도를 5배 향상시켰다
• •FP4 양자화된 KV Cache를 사용하여 메모리 효율성을 극대화했다
• •최적화를 통해 100만 토큰 입력 시에도 실용적인 추론 속도를 확보했다

Minference는 학습 없이도 어텐션 연산의 희소성을 활용하여 긴 문맥 추론 속도를 높이는 기술이다.