Oumi와 Amazon Bedrock을 활용한 맞춤형 LLM 파인튜닝 및 배포 가속화

섹션별 상세

01

Oumi는 레시피 기반의 학습 방식을 채택하여 실험의 재현성을 높이고 보일러플레이트 코드를 최소화한다. 사용자는 단일 YAML 설정 파일을 통해 전체 파인튜닝 과정을 정의하며, 이는 다양한 실험 환경에서 동일하게 재사용 가능하다.

Oumi와 Amazon Bedrock을 결합한 전체 ML 워크플로 다이어그램 — Diagram데이터셋 준비부터 학습(SFT, DPO, GRPO 등), 평가를 거쳐 최종적으로 Bedrock을 통한 추론까지의 단계를 보여준다. Oumi가 데이터와 학습, 평가를 담당하고 Bedrock이 관리형 추론을 담당하는 역할 분담을 명확히 시각화한다.

02

Amazon Bedrock의 Custom Model Import 기능을 활용하면 파인튜닝된 모델을 별도의 추론 인프라 관리 없이 배포할 수 있다. S3에 업로드된 모델 가중치를 Bedrock으로 가져오면 표준 Bedrock Runtime API를 통해 즉시 호출이 가능한 서버리스 환경이 구축된다.

bash

./scripts/import-to-bedrock.sh --model-name my-fine-tuned-llama --s3-uri s3://$S3_BUCKET/$S3_PREFIX --role-arn $BEDROCK_ROLE_ARN --wait

S3에 저장된 모델 아티팩트를 Amazon Bedrock의 Custom Model Import로 등록하는 과정

AWS 클라우드 내에서의 상세 구현 아키텍처 — DiagramEC2 인스턴스에서 실행되는 Oumi 작업들이 S3 버킷을 거쳐 Bedrock으로 모델이 임포트되는 물리적 흐름을 설명한다. 각 단계에서 실행되는 주요 CLI 명령어와 데이터 이동 경로를 상세히 나타낸다.

03

학습 데이터가 부족한 경우 Oumi의 데이터 합성(Data Synthesis) 기능을 활용할 수 있다. Amazon Bedrock을 백엔드로 사용하여 특정 태스크에 특화된 데이터셋을 생성하고, 이를 즉시 파인튜닝 루프에 투입하여 모델 성능을 개선한다.

bash

./scripts/fine-tune.sh --config configs/oumi-config.yaml --output-dir models/final

정의된 레시피 구성을 바탕으로 Llama 모델의 파인튜닝을 시작하는 스크립트 실행

04

대규모 모델 학습을 위해 Oumi는 FSDP(Fully Sharded Data Parallel), DeepSpeed, DDP와 같은 분산 학습 전략을 지원한다. 이를 통해 단일 GPU의 메모리 한계를 넘어 멀티 GPU 및 멀티 노드 환경에서 효율적인 학습이 가능하다.

bash

oumi synth -c configs/synthesis-config.yaml

Oumi의 데이터 합성 기능을 사용하여 학습용 데이터셋을 생성하는 명령어

bash

oumi evaluate -c configs/evaluation-config.yaml

학습이 완료된 모델을 MMLU 등의 벤치마크를 통해 평가하는 명령어

05

학습 완료 후에는 Oumi의 통합 평가 도구를 사용하여 모델의 성능을 즉시 검증한다. MMLU와 같은 표준 벤치마크나 LLM-as-a-judge 방식을 설정 파일 하나로 실행하여 배포 전 모델의 품질을 객관적으로 파악할 수 있다.

용어 해설

우미(Oumi): — 데이터 준비, 학습, 평가에 이르는 파운데이션 모델의 전체 라이프사이클을 간소화하는 오픈소스 시스템이다. 단일 구성 파일을 통해 실험의 재현성을 높이고 다양한 파인튜닝 기법을 통합적으로 관리할 수 있게 돕는다.
사용자 지정 모델 가져오기(Custom Model Import): — 외부에서 학습하거나 파인튜닝한 모델 가중치를 Amazon Bedrock 환경으로 가져오는 기능이다. 이를 통해 사용자는 자체 인프라 관리 없이 Bedrock의 서버리스 API를 통해 맞춤형 모델을 호출할 수 있다.
저순위 적응(LoRA): — 대형 언어 모델의 전체 가중치를 업데이트하는 대신, 저순위 분해 행렬만을 학습시켜 파라미터 수를 획기적으로 줄이는 효율적인 파인튜닝 기법이다. 적은 컴퓨팅 자원으로도 특정 도메인에 모델을 최적화할 수 있다.
완전 샤딩 데이터 병렬 처리(FSDP): — 모델 파라미터, 그래디언트, 옵티마이저 상태를 여러 GPU에 분산(샤딩)하여 메모리 효율을 극대화하는 학습 전략이다. 단일 GPU 메모리를 초과하는 대규모 모델을 학습할 때 필수적으로 사용된다.