MacBook Neo에서 LLM 학습시키기: 8GB RAM의 한계를 넘어서

섹션별 상세

8GB 통합 메모리를 가진 MacBook Neo(A18 Pro 칩)에서 LLM 학습이 불가능할 것이라는 통념이 있었으나 Apple Silicon의 구조적 이점으로 이를 극복했다. CPU와 GPU가 동일한 메모리 풀을 공유하는 통합 메모리 아키텍처 덕분에 데이터 복사 과정에서 발생하는 지연과 메모리 낭비가 제거됐다. 이 아키텍처는 제한된 하드웨어 자원에서도 대규모 모델의 가중치에 직접 접근하여 효율적인 연산을 수행하게 한다. 저사양 기기에서도 머신러닝 워크로드를 처리할 수 있는 물리적 토대가 마련된 것이다.

LoRA(Low-Rank Adaptation) 기법을 적용하여 전체 32억 개의 파라미터 중 단 0.054%인 170만 개만 학습 대상으로 설정했다. 모델의 기존 지식은 동결하고 작은 어댑터 가중치만 업데이트함으로써 메모리 요구량을 획기적으로 낮추는 방식이다. Rank 8과 Alpha 16 설정을 통해 모델이 새로운 정보를 학습할 수 있는 충분한 용량을 확보하면서도 연산 효율을 극대화했다. 결과적으로 단 몇 메가바이트 크기의 어댑터 파일만으로 모델의 행동을 성공적으로 변경했다.

bash

mlx_lm.lora \
  --model mlx-community/Llama-3.2-3B-Instruct-4bit \
  --train \
  --data ./data \
  --iters 600 \
  --batch-size 1 \
  --num-layers 4 \
  --grad-checkpoint \
  --learning-rate 1e-5 \
  --save-every 50 \
  --steps-per-eval 50 \
  --adapter-path ./apple-chat-adapters-v2

MacBook Neo에서 Llama 3.2 3B 모델을 LoRA로 파인튜닝하기 위한 MLX 실행 명령 예시

근거

In my case, 0.054 percent of the parameters were trainable. — What Even Is Fine-Tuning 섹션

학습 데이터셋의 규모와 품질이 모델의 일반화 성능을 결정짓는 핵심 요소임을 실험을 통해 확인했다. 초기 83개의 예시로 학습했을 때는 모델이 데이터를 단순 암기하는 과적합 현상이 발생하여 검증 손실이 상승했다. 데이터를 200개로 늘리고 Apple 제품 사양에 대한 구체적인 질의응답 쌍을 구성하자 모델이 패턴을 학습하기 시작했다. 이는 로컬 환경에서도 충분한 양의 고품질 데이터가 뒷받침되어야 실질적인 도메인 특화가 가능함을 시사한다.

메모리 점유율을 최소화하기 위해 그래디언트 체크포인팅과 레이어 제한 등 고도의 최적화 전략을 구사했다. 배치 사이즈를 1로 고정하고 학습이 일어나는 레이어를 4개로 제한하여 피크 메모리 사용량을 2.328GB로 억제하는 데 성공했다. 이는 일반적인 웹 브라우저가 사용하는 메모리보다 적은 수준으로, 학습 중에도 시스템의 다른 작업을 방해하지 않는다. 저사양 기기에서 대규모 언어 모델을 다루기 위한 실무적인 설정값이 도출된 셈이다.

근거

Peak memory usage during the entire training run was 2.328 GB. — What 2.3 Gigabytes Looks Like 섹션

학습 과정의 모니터링 지표로 학습 손실이 아닌 검증 손실(Validation Loss)을 50단계마다 체크하여 모델의 학습 상태를 정밀하게 진단했다. 학습 손실은 암기만으로도 낮아질 수 있지만, 검증 손실은 보지 못한 데이터에 대한 성능을 나타내므로 실제 학습 여부를 판단하는 척도가 된다. 과적합 방지를 위해 LoRA Dropout 0.1을 적용하고 데이터 통과 횟수를 3회 이내로 제한하여 최적의 체크포인트를 확보했다. 이러한 체계적인 접근을 통해 20분이라는 짧은 시간 안에 안정적인 결과물을 얻었다.

근거

A full run of 600 iterations took about 20 minutes. — What 2.3 Gigabytes Looks Like 섹션

용어 해설

저순위 적응(LoRA): — 모델의 전체 파라미터를 수정하는 대신 저차원의 행렬 어댑터만 추가하여 학습하는 기법이다. 메모리 사용량을 획기적으로 줄이면서도 모델의 성능을 유지할 수 있어 로컬 환경의 제한된 자원에서 파인튜닝을 수행할 때 필수적으로 사용된다.
MLX: — Apple Silicon 하드웨어에 최적화된 머신러닝 프레임워크이다. CPU와 GPU가 통합 메모리를 공유하는 구조를 활용하여 데이터 복사 지연을 없애고 효율적인 추론과 학습을 지원하며, 로컬 환경에서의 AI 개발 경험을 개선한다.
과적합(Overfitting): — 모델이 학습 데이터에 너무 과하게 적응하여 새로운 데이터에 대한 일반화 능력이 떨어지는 현상이다. 학습 손실은 낮아지지만 검증 손실이 다시 상승하는 지점을 통해 확인하며, 데이터 증설이나 드롭아웃 설정을 통해 해결한다.
합성 데이터(Synthetic Data): — AI를 사용하여 인위적으로 생성한 학습용 데이터셋이다. 실제 데이터가 부족한 특정 도메인에서 학습 예시를 빠르게 확보하기 위해 사용하며, 생성된 데이터의 정확성을 검증하는 품질 관리 과정이 모델 성능에 결정적인 영향을 미친다.
그래디언트 체크포인팅(Gradient Checkpointing): — 학습 중 모든 중간 활성화 값을 메모리에 저장하는 대신 필요할 때 재계산하는 기술이다. 계산 시간은 약간 늘어나지만 메모리 사용량을 대폭 절감하여 8GB RAM과 같은 저사양 기기에서도 대규모 모델을 학습할 수 있게 한다.

기술

MLX
Llama 3.2
LoRA
Apple Silicon
A18 Pro
Python

활용 사례

개인용 챗봇 구축
도메인 특화 모델 프로토타이핑
저비용 LLM 학습 실험

언급된 리소스

GitHubMLX Framework

DemoLlama 3.2 3B Instruct 4-bit