섹션별 상세
기존 nanoGPT가 GPT-2 재현을 목표로 방대한 범위를 다루는 것과 달리, 이 프로젝트는 핵심 요소만 남겨 10M 파라미터 규모로 경량화했습니다. 이를 통해 M3 Pro 칩셋 기준 약 45분 만에 학습을 완료할 수 있어 단일 워크숍 세션 내에서 전체 파이프라인을 경험할 수 있습니다. 학습은 Apple Silicon(MPS), NVIDIA(CUDA), CPU를 자동으로 감지하여 최적의 하드웨어 가속을 사용합니다. 실습자는 블랙박스 라이브러리 없이 모든 코드를 직접 작성하며 모델의 내부 구조를 이해하게 됩니다.
근거
- Medium 설정의 10M 파라미터 모델은 M3 Pro 노트북에서 약 45분 만에 학습이 가능하다. — Model Configs for This Workshop 표
모델 아키텍처는 트랜스포머의 표준 구조인 임베딩 레이어, 셀프 어텐션, 피드포워드 네트워크(MLP) 블록으로 구성됩니다. 입력 텍스트는 토큰 및 위치 임베딩을 거쳐 n개의 트랜스포머 블록을 통과하며, 각 블록 내에서는 LayerNorm과 잔차 연결(Residual Connection)이 적용됩니다. 최종적으로 선형 레이어를 통해 어휘 사전 크기만큼의 로짓(Logits)을 출력하여 다음 토큰의 확률 분포를 계산합니다. 기본 설정인 Medium 구성은 6개의 레이어와 6개의 헤드, 384차원의 임베딩 공간을 사용합니다.
소규모 데이터셋인 셰익스피어 텍스트(약 1MB)의 특성을 고려하여 BPE 대신 문자 단위(Character-level) 토크나이저를 채택했습니다. BPE는 약 5만 개의 어휘 사전을 가지므로 소량의 데이터로는 각 토큰의 패턴을 충분히 학습하기 어렵기 때문입니다. 문자 단위 토크나이저는 약 65개의 고유 문자로 어휘 사전을 구성하여 모델이 문맥을 더 쉽게 파악하도록 돕습니다. 이후 데이터셋 규모가 커질 경우를 대비해 Part 5에서 BPE로 전환하는 방법도 함께 다룹니다.
근거
- 작은 데이터셋에서는 BPE 토크나이저가 대부분의 토큰 바이그램 패턴을 학습하지 못해 실패할 가능성이 높다. — Tokenization: Characters vs BPE 섹션
학습 루프 구현에서는 손실 함수 계산, AdamW 옵티마이저 적용, 그래디언트 클리핑, 학습률 스케줄링 등 실전적인 최적화 기법을 포함합니다. 모델이 예측한 값과 실제 다음 토큰 사이의 교차 엔트로피 손실을 최소화하는 방향으로 역전파가 진행됩니다. 학습이 완료된 후에는 온도(Temperature) 조절과 Top-k 샘플링 기법을 적용한 추론 로직을 통해 텍스트를 생성합니다. 이러한 과정을 통해 단순한 모델 구조뿐만 아니라 실제 모델이 수렴하는 학습 메커니즘 전반을 학습합니다.
기술
- PyTorch
- Python
- tiktoken
- numpy
- uv
활용 사례
- 교육용 LLM 구현
- 소규모 도메인 특화 언어 모델 학습
- 트랜스포머 아키텍처 프로토타이핑
언급된 리소스
AI 분석 전체 내용 보기
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
원문 발행 2026. 05. 05.수집 2026. 05. 05.출처 타입 RSS
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.
