Amazon SageMaker AI를 활용한 아제르바이잔어 LLM 학습 및 최적화

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

핵심 요약

아제르바이잔어는 형태학적으로 복잡하여 표준 토크나이저 사용 시 토큰 파편화가 발생하고 컨텍스트 윈도우 효율이 저하된다. 이 프로젝트는 맞춤형 토크나이저를 개발하여 토큰 효율을 2배 개선하고, Liger Kernel과 FSDP를 적용하여 GPU 메모리 사용량을 58% 절감했다. 최종적으로 LoRA를 통해 효율적인 파인튜닝을 수행하여 대화형 모델을 완성했다. 이 접근법은 저자원 언어 모델링에서 학습 처리량과 비용 효율성을 동시에 확보하는 실무 가이드라인을 제공한다.

배경

PyTorch 분산 학습(FSDP)에 대한 이해, Amazon SageMaker AI 사용 경험, LLM 토큰화 및 파인튜닝 개념

대상 독자

저자원 언어 모델링을 수행하거나 LLM 학습 비용 및 성능 최적화에 관심이 있는 AI 엔지니어

의미 / 영향

이 사례는 저자원 언어 모델링에서 토크나이저 최적화와 커널 수준의 메모리 관리가 모델 성능과 비용 효율성에 얼마나 큰 영향을 미치는지 보여준다. 특히 Liger Kernel과 FSDP의 결합은 대규모 모델 학습 시 인프라 비용을 획기적으로 줄일 수 있는 실무적인 표준 패턴을 제시한다.

섹션별 상세

아제르바이잔어는 접미사 활용이 많아 일반적인 영어 최적화 토크나이저로는 토큰이 과도하게 분절된다. 맞춤형 BBPE 토크나이저를 학습시켜 토큰 효율(fertility score)을 3.22에서 1.59로 2배 개선하고, 동일 컨텍스트 윈도우 내 처리 가능한 텍스트 양을 2배로 늘렸다.

영어 최적화 토크나이저와 아제르바이잔어 맞춤형 토크나이저의 토큰화 결과 비교. — Diagram기존 토크나이저가 'kitablardan'을 4개의 토큰으로 분절하는 반면, 맞춤형 토크나이저는 3개의 형태학적으로 올바른 토큰으로 처리함을 보여준다. 이는 맞춤형 토크나이저가 컨텍스트 윈도우 효율을 높이는 핵심 근거이다.

Llama 3.2 1B 모델의 지속적 사전 학습(CPT) 단계에서 PyTorch FSDP와 Liger Kernel을 통합하여 GPU 메모리 효율을 높였다. Liger Kernel은 여러 연산을 단일 커널로 융합하여 중간 메모리 할당을 줄였으며, 이를 통해 ml.p5.48xlarge 인스턴스에서 처리량을 23% 향상시켰다.

사전 학습 후 LoRA를 적용하여 모델을 대화형 어시스턴트로 전환했다. 전체 가중치 대신 저순위 분해 행렬만 학습시켜 파라미터 업데이트 비용을 최소화했으며, 2,000개의 질의응답 쌍으로 짧은 시간 내에 효율적인 파인튜닝을 완료했다.

학습 파이프라인은 Amazon SageMaker AI의 관리형 인프라를 기반으로 구축되어 독립적인 단계별 최적화가 가능하다. 각 단계는 S3에 아티팩트를 저장하고 TensorBoard로 메트릭을 추적하며, 필요 시에만 인스턴스를 프로비저닝하여 유휴 비용을 제거했다.

Amazon SageMaker AI를 활용한 아제르바이잔어 LLM 학습 파이프라인 아키텍처 다이어그램. — Diagram이 다이어그램은 토크나이저 학습, 지속적 사전 학습(CPT), LoRA 파인튜닝으로 이어지는 3단계 워크플로우를 보여준다. S3, SageMaker Training Jobs, CloudWatch 등 AWS 인프라 구성 요소 간의 데이터 흐름을 명확히 설명한다.

실무 Takeaway

저자원 언어 모델링 시, 기본 토크나이저를 그대로 사용하지 말고 해당 언어의 형태학적 특성을 반영한 맞춤형 토크나이저를 학습시켜 컨텍스트 윈도우 효율을 극대화해야 한다.
LLM 학습 시 Liger Kernel과 같은 메모리 효율적인 커널 구현체를 FSDP와 결합하면, 동일 하드웨어 환경에서도 더 큰 배치 사이즈와 높은 처리량을 확보할 수 있다.
LoRA 파인튜닝 시 어시스턴트 응답 토큰에만 손실을 계산하는 마스킹 전략을 사용하면, 모델이 불필요한 패턴을 학습하지 않고 대화 생성 능력에 집중하게 할 수 있다.