Gemma 4 E2B 모델의 LoRA 파인튜닝을 통한 코드 생성 최적화 사례

실용적 조언

모델의 출력이 이상할 경우 토큰별 Top-K 확률을 모니터링하여 학습 데이터의 오염 여부를 역추적하라.
특정 도메인 전문가 모델을 구축할 때 검색 신뢰도에 따라 베이스 모델과 어댑터 모델을 전환하는 게이트 로직을 도입하라.

섹션별 상세

데이터 필터링 오류가 모델 출력에 직접적인 영향을 미쳤다. 토큰별 확률을 추적한 결과, 잘못된 답변의 확률이 55.3%로 나타났으며 이는 학습 데이터에 포함된 Python 2 문법이 모델에 그대로 반영된 결과였다. 학습 데이터의 오염 빈도가 테스트 시 출력 확률과 거의 일치함을 확인하여 데이터 정제 단계의 중요성을 입증했다.

추론 시점의 프롬프트 신호가 어댑터의 편향보다 더 강력하게 작용할 수 있다. 가중치 변경 없이 프롬프트에 특정 선호 사항을 추가하는 것만으로도 정답 확률이 34.1%에서 56.2%로 22.1%p 상승하는 결과가 나타났다. 이는 파인튜닝된 모델이라 할지라도 적절한 프롬프트 엔지니어링이 성능 최적화에 필수적임을 시사한다.

파인튜닝은 모델을 지시사항에 과도하게 순응하게 만들어 잘못된 지시까지 따르게 하는 부작용을 낳았다. 베이스 모델은 사전 학습된 지식을 바탕으로 잘못된 지시를 무시하고 안전한 패턴을 유지했으나, 파인튜닝된 모델은 잘못된 지시를 충실히 이행하여 오답을 생성했다. 이를 해결하기 위해 의도적으로 틀린 지시와 정답을 쌍으로 묶은 적대적 예제 학습의 필요성이 제기됐다.

최종 시스템 설계에서는 어댑터 자체보다 검색 신뢰도 게이트(Retrieval-confidence gate)가 더 큰 역할을 했다. 전문화된 어댑터는 검색 결과가 확실할 때만 사용하고, 불확실할 때는 베이스 모델로 회귀하는 전략이 전체적인 시스템 안정성을 높였다. Hugging Face PEFT와 TRL 라이브러리를 활용하여 M-시리즈 맥 환경에서 성공적으로 구현되었다.

용어 해설

저순위 적응(LoRA): — 사전 학습된 모델의 가중치를 고정한 채 일부 파라미터(저순위 행렬)만 추가하여 학습하는 효율적인 파인튜닝 기법이다. 전체 파라미터를 업데이트하지 않아도 되므로 메모리 사용량과 계산 비용을 대폭 절감하면서 특정 태스크에 모델을 최적화할 수 있다.
탐욕적 디코딩(Greedy Decoding): — 텍스트 생성 시 매 단계에서 가장 높은 확률을 가진 토큰만을 선택하는 방식이다. 결과가 결정론적(Deterministic)으로 나오며, 창의성은 낮으나 코드 생성과 같이 정확성이 중요한 작업에서 구조적 오류를 줄이는 데 유리하다.
적대적 예제(Adversarial Examples): — 모델이 의도적으로 잘못된 판단을 내리도록 설계된 입력 데이터이다. 파인튜닝 시 잘못된 지시사항을 포함한 데이터를 학습시키면 모델이 무조건적인 지시 이행 대신 비판적 사고나 안전한 거절을 학습하도록 돕는 역할을 한다.

언급된 도구

PEFT추천

LoRA 파인튜닝을 위한 파라미터 효율적 학습 라이브러리

TRL추천

강화학습 및 파인튜닝 워크플로 관리

sentence-transformers추천

RAG 구현을 위한 임베딩 및 검색

언급된 리소스

문서MicroGPT by Andrej Karpathy

문서Fine-tuning 5B Code Assistant: Three Lessons