TL;DR
작성자는 Kimi K3의 주요 아키텍처와 163,840-token tokenizer를 유지한 1.02B 파라미터 replica를 5,000,003,584개의 decontaminated token으로 사전학습했습니다. 토큰당 145M 파라미터가 활성화되는 LatentMoE 구조를 H200 한 대에서 38,147 steps 동안 학습했으며, 총비용은 $252.35였습니다. Instruction-tuning 없이 next-token prediction만 수행했지만 최종 loss는 2.62, dead experts는 0.0%로 기록됐습니다. HellaSwag 점수는 33.4%로 GPT-2 124M의 28%보다 높았습니다.
섹션별 상세
이미지 분석
표에는 전체 파라미터 1.02B, 활성 파라미터 145M, 비임베딩 파라미터 61M과 H200 한 대의 시간당 비용 $4.54가 기록돼 있습니다. 131,072 tokens per step, 38,147 steps, 총 5,000,003,584 tokens, 초기 loss 12.100과 최종 loss 2.62, dead experts 0.0%, 총비용 $252.35가 함께 제시돼 본문에서 말한 소규모 K3 replica의 학습 조건과 결과를 수치로 연결합니다.
1.02B 파라미터 모델의 학습 규모와 비용, loss 및 전문가 활성 상태를 정리한 표입니다.
이 표는 4,096 sequence length에 4와 8의 accumulation을 곱해 131,072 tokens per step을 구성한 계산을 명시합니다. 학습률은 6.00e-4이고 warmup-stable-decay 일정에서 step 32,430부터 decay가 시작됐으며, loss spike를 건너뛴 횟수는 0으로 표시돼 학습 설정과 안정성 지표를 함께 확인할 수 있습니다.
K3 replica 학습의 모델 크기, 데이터 처리량, 학습 일정, loss와 비용을 담은 동일한 수치 표입니다.
용어 해설
- Kimi Delta Attention
- — K3 replica에 포함된 Attention 구조로, 원문은 세부 계산식이나 토큰 처리 절차를 설명하지 않고 K3의 아키텍처 구성 요소로만 제시합니다. 이 실험에서는 1.02B 모델에 그대로 적용됐습니다.
- Gated MLA
- — K3 replica가 사용하는 Attention 관련 아키텍처 구성 요소입니다. 원문은 Gated MLA의 내부 연산이나 기존 방식과의 차이를 밝히지 않으며, K3 구조를 축소 모델에 보존했다는 사실만 기록합니다.
- Attention Residuals
- — K3 아키텍처에 포함된 Residual 연결 방식으로, 원문에서는 다른 구조 요소와 함께 나열됩니다. 1.02B 모델이 K3의 설계 특징을 얼마나 유지하는지 나타내는 구성 요소 중 하나입니다.
- LatentMoE
- — K3 replica에 사용된 Mixture-of-Experts 구조입니다. 토큰마다 1.02B 전체 파라미터 중 145M이 활성화되며, 원문은 auxiliary loss 없이 balancer를 운용하는 K3의 설정을 그대로 사용했다고 밝힙니다.
- HellaSwag
- — 상식 추론 성능을 측정하는 벤치마크로, 이 사전학습 모델은 33.4%를 기록했습니다. 작성자는 이를 GPT-2 124M의 28%와 비교해 Instruction-tuning 없이 얻은 결과로 제시합니다.
언급된 리소스
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.
