MiniMind: 3,000원으로 2시간 만에 바닥부터 만드는 초소형 언어 모델

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

핵심 요약

대형 언어 모델의 높은 진입 장벽을 낮추기 위해 기획된 MiniMind 프로젝트는 25.8M에서 145M 규모의 초소형 모델을 바닥부터 학습시키는 전 과정을 제공한다. PyTorch 원형 코드를 사용하여 토크나이저 학습부터 프리트레이닝, SFT, LoRA, 그리고 최신 RLAIF(PPO, GRPO, SPO) 기법까지 LLM의 생애 주기를 모두 포함한다. 단일 RTX 3090 GPU에서 약 2시간, 3천 원 수준의 비용으로 구동 가능한 모델을 직접 구축할 수 있음을 실증했다. 이는 LLM의 '블랙박스'를 열어보고 싶은 개발자와 연구자들에게 실질적인 교육적 가치와 실험 환경을 제공한다.

배경

Python, PyTorch, 기본적인 딥러닝 개념, GPU 환경 (RTX 3090 권장)

대상 독자

LLM의 내부 작동 원리를 바닥부터 학습하고 싶은 AI 개발자 및 학생

의미 / 영향

LLM 학습에 필요한 자원 장벽을 획기적으로 낮추어 개인 개발자도 모델의 전 생애 주기를 실험할 수 있게 한다. 특히 최신 강화학습 기법인 GRPO 등을 직접 구현해 볼 수 있어 교육적 가치가 매우 높으며, 소형 모델의 가능성을 확장한다.

섹션별 상세

기존 LLM 프레임워크의 고도화된 추상화가 학습자의 내부 원리 이해를 방해하는 문제를 해결하고자 한다. 모든 핵심 알고리즘을 PyTorch 기본 기능으로 재구현하여 데이터가 모델을 거쳐 출력되는 전 과정을 투명하게 공개했다. 이를 통해 사용자는 라이브러리 호출 대신 각 레이어와 최적화 기법의 실제 구현을 직접 학습할 수 있다.

모델 아키텍처는 Llama 3.1과 유사한 Decoder-only 구조를 채택했으며 Dense 모델과 MoE 모델을 모두 지원한다. RMSNorm, SwiGLU, RoPE 등 현대적인 LLM의 필수 구성 요소를 포함하여 소규모임에도 효율적인 추론 성능을 낸다. 특히 MoE 구조는 DeepSeek-V2/3의 설계를 참고하여 전문가 분할 및 공유 전문가 격리 기술을 적용했다.

학습 파이프라인은 지식 습득을 위한 Pretraining, 대화 스타일 학습을 위한 SFT, 그리고 AI 피드백 기반의 정렬 단계를 체계적으로 구성했다. 특히 최근 주목받는 DeepSeek-R1의 추론 방식을 모방한 MiniMind-Reason 모델 증류 과정을 포함하여 소형 모델에서의 추론 능력 구현 가능성을 탐색한다. 이는 복잡한 강화학습 없이도 데이터 기반으로 추론 성능을 개선하는 실무적 대안을 제시한다.

bash

torchrun --nproc_per_node 1 train_pretrain.py
torchrun --nproc_per_node 1 train_full_sft.py

단일 GPU 환경에서 프리트레이닝 및 전체 파라미터 SFT를 실행하는 명령어

실무 환경과의 호환성을 위해 transformers, llama.cpp, vllm, ollama 등 주요 추론 엔진 지원 및 OpenAI API 규격 인터페이스를 제공한다. 이는 학습시킨 초소형 모델을 실제 애플리케이션이나 Streamlit 기반 웹 UI에 즉시 통합하여 테스트할 수 있게 한다. 사용자는 자신이 학습시킨 모델을 다양한 환경에서 즉각적으로 검증하고 배포할 수 있다.

json

"rope_scaling": {
  "type": "yarn",
  "factor": 16.0,
  "original_max_position_embeddings": 2048,
  "beta_fast": 32.0,
  "beta_slow": 1.0,
  "attention_factor": 1.0
}

YaRN 알고리즘을 사용하여 RoPE 위치 임베딩의 길이를 외삽하기 위한 설정값

python

python eval_llm.py --weight full_sft --inference_rope_scaling

학습된 SFT 모델을 RoPE 외삽 옵션과 함께 실행하여 성능을 테스트하는 코드

MiniMind2 모델의 실제 채팅 데모를 보여주는 GIF 이미지이다. — Screenshot모델이 사용자의 질문에 대해 실시간으로 답변을 생성하는 과정을 시연한다. 0.1B 미만의 초소형 모델임에도 불구하고 자연스러운 대화가 가능함을 시각적으로 증명하며, 프로젝트의 실질적인 결과물을 확인시켜 준다.

실무 Takeaway

RTX 3090 1장으로 2시간 만에 25.8M 규모의 대화형 모델을 학습시켜 LLM 학습의 전 과정을 저비용으로 경험할 수 있다.
DPO, PPO뿐만 아니라 최신 GRPO, SPO 등 다양한 강화학습 알고리즘을 직접 구현해 보며 모델 정렬 메커니즘을 깊이 있게 이해할 수 있다.
초소형 모델에서도 YaRN 알고리즘을 통한 RoPE 길이 외삽을 적용하여 학습 범위를 넘어서는 긴 텍스트 처리가 가능하다.

언급된 리소스

GitHubMiniMind GitHub Repository

DemoMiniMind2 Model on ModelScope