단돈 100달러로 나만의 GPT-2급 모델을 직접 학습하고 대화하기
LLM Framework·Python0 / 0
단일 GPU 노드에서 토큰화부터 채팅 UI까지 LLM의 전 과정을 실험할 수 있는 최소형 학습 프레임워크이다.
주요 기능
- depth 파라미터 하나로 모델 크기에 따른 최적의 하이퍼파라미터를 자동 설정한다.
- 8개의 H100 GPU 노드에서 약 2시간 만에 GPT-2급 성능인 DCLM CORE 점수 0.2565 이상을 달성한다.
- COMPUTE_DTYPE 설정을 통해 torch.amp.autocast 없이 하드웨어별 최적 정밀도를 명시적으로 제어한다.
- 사전 학습된 모델에 정체성을 부여하는 합성 데이터 생성 및 SFT와 RL 과정을 통합 제공한다.
- KV 캐시가 적용된 효율적인 추론 엔진과 ChatGPT 스타일의 웹 인터페이스를 즉시 실행한다.
사용 사례
- 최신 GPU 인프라를 활용하여 최소 비용으로 독자적인 베이스 모델을 구축하려는 경우
- LLM의 학습부터 추론까지 전체 아키텍처를 코드로 직접 분석하고 실험하려는 연구자
- 특정 도메인 데이터를 활용해 소규모 고성능 모델을 밑바닥부터 학습시키고자 할 때
48k
Stars
6.3k
Forks
+928
Trending
0
조회수
48k watchers80 open issues
관련 토론
아직 관련 토론이 없습니다.
댓글
댓글을 작성하려면 로그인이 필요합니다.