GEKO: 그래디언트 효율적 지식 최적화 - 모델이 이미 아는 것은 학습하지 않는 기법

섹션별 상세

GEKO는 샘플별 학습 상태를 추적하여 연산 자원을 효율적으로 배분한다. 모델이 이미 마스터한 샘플은 FREEZE 상태로 분류하여 처리를 생략하고, 모델이 확신을 가지고 틀리는 HARD 샘플에는 더 많은 가중치를 두어 집중 학습시킨다. 이러한 방식은 LoRA가 파라미터 수를 줄이는 것과 유사하게 낭비되는 연산량을 줄여준다.

python

from geko import GEKOTrainer, GEKOConfig, GEKOTrainingArgs

args = GEKOTrainingArgs(
    output_dir="./geko_output",
    num_epochs=3,
    batch_size=16,
    learning_rate=3e-5,
    gradient_accumulation_steps=4,
    bf16=True,
    gradient_checkpointing=True,
    compile_model=True,
)

config = GEKOConfig(
    prune_frozen_after=2, # 2 에포크 동안 마스터한 샘플은 영구 제거
)

trainer = GEKOTrainer(
    model=model,
    train_dataset=train_dataset,
    eval_dataset=eval_dataset,
    tokenizer=tokenizer,
    config=config,
    args=args,
    compute_correctness=your_correctness_fn,
)

trainer.train()

GEKOTrainer를 사용하여 효율적인 파인튜닝을 시작하는 기본 코드 예시

마운틴 커리큘럼(Mountain Curriculum)이라는 5단계 전략을 통해 학습을 관리한다. Warmup에서 시작하여 Peak 단계에서 어려운 샘플에 최대 5배의 가중치를 부여하고, 마지막 Consolidate 단계에서 전체 내용을 보강하는 구조를 가진다. 이는 모델이 기초부터 심화 내용까지 체계적으로 습득하도록 돕는다.

v0.3.0 업데이트를 통해 LoRA/PEFT 통합, BF16 혼합 정밀도, 8비트 AdamW 옵티마이저 등 다양한 효율화 기능을 제공한다. 그래디언트 체크포인팅을 통해 활성화 메모리를 약 4배 절감하고, torch.compile을 지원하여 처리량을 20~50% 향상시킨다. 또한 일정 기간 동결된 샘플을 데이터셋에서 영구 제거하는 동적 데이터셋 프루닝 기능을 포함한다.

v0.3.1 버전에서는 Gradio 기반의 노코드 웹 앱을 도입하여 접근성을 강화했다. 사용자는 Hugging Face의 모델 ID와 데이터셋을 입력하는 것만으로 학습을 시작할 수 있으며, 실시간 손실 곡선과 샘플 분포 차트를 통해 학습 과정을 시각적으로 모니터링할 수 있다. 체크포인트 재개 및 하드웨어 정보 확인 기능도 포함되어 있다.

bash

pip install gekolib[app]
geko-app # http://localhost:7860 접속

코드 없이 웹 인터페이스로 GEKO를 실행하기 위한 설치 및 실행 명령

각 샘플의 학습 가능성을 판단하기 위해 Q-Value Learning 메커니즘을 사용한다. 지수 이동 평균(EMA)을 활용해 업데이트되는 Q-값이 특정 임계값을 넘어야만 샘플을 동결할 수 있도록 설계되어, 일시적인 정답 처리에 의한 조기 동결을 방지하고 안정적인 학습을 보장한다.

용어 해설

커리큘럼 학습(Curriculum Learning): — 쉬운 데이터부터 시작하여 점진적으로 어려운 데이터를 학습시키는 기법이다. 모델이 기초 지식을 먼저 습득하게 하여 학습 속도를 높이고 최종 성능을 개선하는 데 중요한 역할을 한다.
그래디언트 체크포인팅(Gradient Checkpointing): — 역전파 시 모든 활성화 값을 저장하는 대신 일부만 저장하고 나머지는 필요할 때 재계산하는 메모리 최적화 기법이다. 연산 시간은 약간 늘어나지만 메모리 사용량을 획기적으로 줄여 더 큰 모델이나 배치를 학습할 수 있게 한다.
Q-값(Q-Value): — 강화학습에서 유래한 개념으로, GEKO에서는 각 데이터 샘플의 '학습 가능성' 또는 '숙달도'를 나타내는 지표로 사용된다. 이 값을 통해 특정 샘플을 더 학습할지 아니면 건너뛸지를 결정하는 기준으로 삼는다.
매개변수 효율적 파인튜닝(PEFT): — 모델의 전체 파라미터를 학습시키는 대신 극히 일부만 업데이트하거나 추가 레이어를 학습시키는 기법이다. LoRA가 대표적이며, 적은 컴퓨팅 자원으로도 거대 모델을 특정 작업에 맞춰 조정할 수 있게 한다.

기술

GEKO
PyTorch
LoRA
Gradio
bitsandbytes
Hugging Face Transformers

활용 사례

Instruction Tuning
Domain Adaptation
SFT (Supervised Fine-tuning)
RLHF

언급된 리소스

GitHubGEKO GitHub Repository