Claude Code를 활용한 오픈 소스 LLM 파인튜닝 자동화 가이드

섹션별 상세

Hugging Face Skills는 Claude Code, Codex, Gemini CLI 등 코딩 에이전트에게 모델 학습에 필요한 전문 지식과 도구 사용 권한을 패키징하여 제공한다. 이를 통해 에이전트는 단순한 코드 작성을 넘어 실제 클라우드 GPU 자원을 할당하고 학습 작업을 제출하며 진행 상황을 실시간으로 모니터링한다.

bash

/plugin install hf-llm-trainer@huggingface-skills

Claude Code에 Hugging Face 학습 스킬 플러그인을 설치하는 명령

bash

claude mcp add --transport http hf-skills https://huggingface.co/mcp?bouquet=skills --header "Authorization: Bearer $HF_TOKEN"

Claude Code에 Hugging Face MCP 서버를 연결하여 API 권한을 부여하는 설정

학습 시작 전 에이전트가 데이터셋 포맷을 자동으로 검증하여 오류를 방지한다. SFT나 DPO 학습에 필요한 특정 컬럼의 존재 여부를 확인하고, 포맷이 맞지 않을 경우 데이터 변환 코드를 제안하거나 직접 수정하여 학습 실패로 인한 시간과 비용 낭비를 최소화한다.

모델 파라미터 규모에 따라 최적의 하드웨어를 자동으로 매핑한다. 1B 미만 모델은 T4-Small, 7B급 모델은 A10G-Large와 LoRA 기법을 조합하는 등 비용 효율적인 인프라 구성을 에이전트가 결정하며, 사용자는 승인 전 예상 비용과 시간을 미리 확인할 수 있다.

text

Fine-tune Qwen3-0.6B on the open-r1/codeforces-cots dataset for instruction following.

에이전트에게 특정 모델과 데이터셋으로 파인튜닝을 시작하도록 지시하는 자연어 프롬프트 예시

SFT(지도 학습), DPO(직접 선호도 최적화), GRPO(강화 학습) 등 다양한 학습 방법론을 지원한다. 특히 수학적 추론이나 코딩 능력 향상에 효과적인 GRPO 기법을 대화형 인터페이스를 통해 손쉽게 적용할 수 있어 고성능 특화 모델 제작이 용이해졌다.

학습이 완료된 모델을 로컬 환경에서 즉시 사용할 수 있도록 GGUF 변환 및 양자화 자동화 기능을 제공한다. 에이전트에게 명령을 내리면 LoRA 어댑터 병합부터 Q4_K_M 등 특정 양자화 적용까지 한 번에 처리하여 llama.cpp나 Ollama에서 바로 실행 가능한 결과물을 생성한다.

text

Convert my fine-tuned model to GGUF with Q4_K_M quantization. Push to username/my-model-gguf.

학습된 모델을 로컬 실행용 GGUF 포맷으로 변환하고 양자화를 적용하도록 지시하는 명령

용어 해설

지도 미세 조정(SFT): — Supervised Fine-Tuning의 약자로, 입력과 정답 쌍으로 구성된 데이터셋을 사용하여 모델이 특정 지시사항을 따르도록 학습시키는 과정이다. 모델의 기본 능력을 특정 도메인이나 작업에 맞게 조정하는 첫 번째 단계로 주로 활용된다.
직접 선호도 최적화(DPO): — Direct Preference Optimization의 약자로, 별도의 보상 모델 없이 '선택된 답변'과 '거부된 답변' 쌍을 직접 비교 학습하여 모델을 인간의 선호도에 정렬하는 기법이다. RLHF보다 계산 효율이 높고 안정적인 학습이 가능하다.
그룹 상대 정책 최적화(GRPO): — Group Relative Policy Optimization의 약자로, 수학 문제 풀이나 코딩처럼 정답 여부를 객관적으로 검증할 수 있는 작업에 특화된 강화 학습 알고리즘이다. DeepSeek-R1 등 최신 추론 모델 학습에 사용되어 성능을 크게 향상시켰다.
저순위 적응(LoRA): — Low-Rank Adaptation의 약자로, 거대 모델의 전체 가중치를 수정하는 대신 일부 파라미터만 학습시켜 메모리 사용량을 획기적으로 줄이는 기법이다. 7B 이상의 모델을 단일 GPU에서 효율적으로 파인튜닝할 때 필수적으로 사용된다.
모델 컨텍스트 프로토콜(MCP): — Model Context Protocol의 약자로, AI 모델이 외부 도구, 데이터셋, API와 안전하게 상호작용할 수 있도록 규격화된 인터페이스다. 이를 통해 Claude와 같은 에이전트가 로컬 파일이나 클라우드 인프라에 직접 접근하여 작업을 수행한다.

기술

Claude Code
Hugging Face Skills
Hugging Face Jobs
TRL
Trackio
GGUF

활용 사례

도메인 특화 지침 이행 모델 제작
인간 선호도 정렬을 위한 DPO 학습
수학/코딩 추론 능력 강화를 위한 GRPO 학습
로컬 배포용 양자화 모델 생성

언급된 리소스

GitHubHugging Face Skills GitHub Repository

API DocsTRL (Transformer Reinforcement Learning) Documentation

문서Hugging Face Jobs Infrastructure