R6410418/Jackrong-llm-finetuning-guide
Jupyter Notebook0 / 0
초보자와 개발자를 위한 재현 가능한 LLM 파인튜닝·데이터 증류·GGUF 배포 워크플로 집합.
TL;DR
레포는 교육용·재현용 LLM 파인튜닝 가이드로 분류되며 Colab·Kaggle 노트북과 Python 스크립트 형태의 실습 레시피를 주로 수록하고 있습니다. SFT(LoRA/QLoRA), GRPO·GSPO 등 RL 워크플로, 데이터 증류와 전처리, 16-bit export·GGUF 양자화와 같은 배포 단계까지 엔드투엔드 흐름을 다루고 있습니다. Qwen·Qwopus 계열과 Llama3 관련 예제가 포함되어 있으며 Qwen MTP→GGUF 변환 스킬처럼 실무형 툴도 제공됩니다. 초보자가 실습으로 학습하기에 적절한 자료집이며 각 튜토리얼의 리소스 요구와 라이선스는 개별 문서를 확인해야 합니다.
핵심 포인트
- 이 레포는 교육용 종합 가이드로서 노트북과 Python 스크립트를 통해 재현 가능한 파인튜닝 파이프라인을 모아놓고 있습니다. Google Colab·Kaggle 실행 환경용 예제와 Hugging Face, PyTorch 생태계 연동을 기반으로 실습을 진행하도록 설계되어 있습니다. 초보자가 브라우저 환경에서 바로 따라할 수 있도록 단계별 레시피와 PDF 가이드, 다국어 문서가 함께 제공됩니다.
- 지원하는 학습 워크플로는 SFT(LoRA/QLoRA 포함), GRPO와 GSPO 같은 RL 변형, 데이터 증류와 전처리 파이프라인까지 폭넓게 포함합니다. 각 워크플로는 노트북·파이썬 튜토리얼 형태로 입력 데이터 준비→학습 절차→모델 저장 및 16-bit export, GGUF 양자화 등 배포 단계 흐름을 따라 구성되어 있습니다. 실무 목적의 데이터 샘플링·필터링·distillation 단계가 함께 있어 학습 데이터 품질 관리 절차를 재현할 수 있습니다.
- Qwen/Qwopus 계열과 Llama3 관련 레시피가 로드맵과 함께 정리되어 있으며 Qwen MTP→GGUF 변환 스킬처럼 실무형 도구도 하위 프로젝트로 포함되어 있습니다. MTP 추출·주입, llama.cpp 변환, 스모크 테스트, 양자화 및 업로드/재개 워크플로를 단계별로 다루어 모델 변환과 배포 파이프라인을 체계화합니다. 모델별로 Colab/Kaggle용 튜토리얼이 있어 실습 환경에서 변환과 검증을 직접 수행할 수 있습니다.
- 데이터 측면에서 24개의 큐레이트된 고품질 데이터셋 카탈로그와 배치 다운로드 스크립트가 있어 로컬 학습용 데이터 준비가 간단합니다. 장기적으로 재현성과 오픈소스 접근성을 유지하려는 철학 문서와 기술 리포트, PDF 튜토리얼이 함께 제공되어 학습 기록을 추적하기에 유리합니다. 다만 레포는 교육·재현 중심의 자료 모음 형태이므로 개별 레시피의 리소스 요구나 상용 배포 적합성은 각 튜토리얼을 통해 확인해야 합니다.
1.6k
Stars
261
Forks
+204
Trending
0
조회수
1.6k watchers11 open issuesApache License 2.0
관련 토론
아직 관련 토론이 없습니다.
댓글
댓글을 작성하려면 로그인이 필요합니다.