Google Gemma 4 공개 및 B200 기반 QLoRA 학습 과정에서의 트러블슈팅

최신 하드웨어인 B200에서의 빠른 재현 사례에 대해 긍정적인 반응이며, 특히 PEFT 호환성 해결을 위한 몽키 패치 기법이 유용한 팁으로 공유됐다.

• Gemma 4 학습 시 Transformers를 pip install git+https://github.com/huggingface/transformers.git 명령으로 설치할 것
• PEFT 오류 발생 시 해당 레이어의 상속 구조를 nn.Linear로 변경하는 몽키 패치 적용
• 데이터 콜레이터에 mm_token_type_ids 필드를 추가하고 0으로 초기화

양자화된 저순위 적응(QLoRA)

— 모델 가중치를 4비트로 양자화한 상태에서 저순위 행렬(Low-Rank)만을 학습시키는 기법이다. 메모리 사용량을 획기적으로 줄이면서도 전체 파인튜닝에 근접한 성능을 내어 소비자용 GPU에서도 대형 모델 학습을 가능하게 한다.

파라미터 효율적 미세 조정(PEFT)

— 모델의 모든 파라미터를 학습시키는 대신 일부 파라미터만 업데이트하거나 새로운 모듈을 추가하여 학습하는 라이브러리 및 방법론이다. LoRA, Prefix Tuning 등을 포함하며 학습 비용과 저장 공간을 절약하는 데 핵심적이다.

몽키 패칭(Monkey-patching)

— 실행 중인 프로그램의 코드를 동적으로 수정하여 기능을 변경하거나 버그를 수정하는 기법이다. 라이브러리 소스 코드를 직접 수정하지 않고도 특정 클래스나 함수의 동작을 런타임에 바꿀 수 있어 긴급한 호환성 해결에 사용된다.

데이터 콜레이터(Data Collator)

— 데이터셋의 개별 샘플들을 모아 모델 학습에 적합한 배치(Batch) 형태로 구성하는 컴포넌트이다. 패딩 처리, 특수 토큰 추가, 텐서 변환 등의 전처리를 수행하며 모델 아키텍처가 요구하는 입력 형식을 맞추는 역할을 한다.

클리퍼블 리니어 레이어(Clippable Linear)

— 입력 또는 출력값의 범위를 제한(Clamping)하는 기능이 포함된 선형 레이어 구조이다. Gemma 4의 비전 인코더 등에 도입되어 수치적 안정성을 높이지만, 표준 nn.Linear와 구조가 달라 기존 학습 도구와의 호환성 문제가 발생할 수 있다.