AWS AI League: Atos의 AI 교육 혁신과 LLM 파인튜닝 실전 사례

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

핵심 요약

Atos는 2026년까지 전 직원의 AI 숙련도를 100% 달성하기 위해 AWS와 협력하여 'AWS AI League'라는 게임화된 실습 프로그램을 도입했다. 참가자들은 Amazon SageMaker JumpStart를 사용하여 Llama 3.2 3B 모델을 보험 언더라이팅 도메인에 맞게 파인튜닝하는 전 과정을 실습했다. 이 과정에서 데이터셋 구축, 하이퍼파라미터 튜닝, LLM-as-a-Judge 기반의 자동 평가를 경험하며 실무 역량을 쌓았다. 결과적으로 잘 훈련된 3B 소형 모델이 특정 작업에서 90B 대형 모델보다 높은 승률을 기록하며 비용 효율적인 AI 도입의 가능성을 확인했다.

배경

LLM 기본 개념, AWS SageMaker 기본 사용법, 파인튜닝 및 하이퍼파라미터에 대한 기초 지식

대상 독자

기업 내 AI 도입을 추진하는 리더 및 LLM 파인튜닝 실무 역량을 쌓고자 하는 개발자

의미 / 영향

이 사례는 대형 모델에 의존하는 대신 소형 모델을 특정 도메인에 최적화함으로써 성능과 비용을 모두 잡을 수 있음을 보여준다. 특히 에이전트 아키텍처에서 각 전문 분야를 담당하는 저비용 고효율 모델들을 배치하는 전략이 유효함을 시사한다.

섹션별 상세

Atos는 이론 중심 교육의 한계를 극복하기 위해 실습과 경쟁이 결합된 AWS AI League를 도입하여 400명 이상의 활성 참여자와 4,100개 이상의 모델 생성을 이끌어냈다.

참가자들은 Amazon SageMaker Studio 내에서 Llama 3.2 3B Instruct 모델을 선택하고, 보험 언더라이팅 시나리오에 특화된 데이터셋을 구축하여 파인튜닝을 진행했다.

파운데이션 모델(FM) 커스터마이징이 중요한 이유를 4가지 핵심 요소로 정리한 인포그래픽이다. — Infographic비즈니스 요구사항 맞춤화, 도메인 특화 언어 적응, 특정 작업 성능 향상, 답변의 문맥 인식 개선을 파인튜닝의 주요 목적으로 제시한다. 이는 Atos가 왜 범용 모델 대신 파인튜닝을 선택했는지에 대한 기술적 배경을 설명한다.

데이터셋 생성에는 PartyRock 애플리케이션이 활용되었으며, 참가자들은 Instruction-Response 쌍의 품질을 높이고 데이터 다양성을 확보하는 데 집중했다.

json

{
  "instruction": "보험 언더라이터로서 다음 위험 요소를 분석하고 적절한 공제액을 추천하십시오.",
  "response": "제시된 위험 요소에 기반하여, 해당 정책에는 $5,000의 공제액이 적절합니다. 이유는..."
}

파인튜닝에 사용되는 JSON Lines(JSONL) 형식의 데이터셋 구조 예시

학습 과정에서 에포크(Epochs), 학습률(Learning Rate), LoRA 파라미터 등을 체계적으로 조정하며 모델의 성능 변화와 과적합(Overfitting) 현상을 직접 모니터링했다.

모델 평가는 Llama 3.2 90B 모델을 평가자로 사용하는 'LLM-as-a-Judge' 시스템을 통해 자동화되었으며, 보지 못한 87개의 질문에 대한 답변 품질로 순위를 결정했다.

Amazon SageMaker JumpStart를 활용한 모델 파인튜닝 및 배포 워크플로우 다이어그램이다. — DiagramS3 데이터 준비부터 하이퍼파라미터 설정, 학습 시작, 모델 평가, 반복 개선을 거쳐 리더보드에 배포되는 전체 생명주기를 보여준다. 참가자들이 실제 수행한 기술적 프로세스를 시각적으로 요약하고 있다.

최종 결과에서 상위권 참가자들의 3B 모델은 90B 모델 대비 93% 이상의 승률을 기록했으며, 이는 도메인 특화 데이터의 중요성을 입증하는 수치로 나타났다.

AWS AI League에 참여한 Atos의 주요 성과 지표와 평가 방식에 대한 요약이다. — Infographic409명의 활성 참여자가 4,100개 이상의 모델을 생성했으며, LLM-as-a-Judge 방식을 통해 87개의 질문으로 평가했음을 명시한다. 상위 5명이 90% 이상의 승률을 기록했다는 구체적인 성과 수치를 포함한다.

실무적으로 3B 모델은 ml.g5.4xlarge 인스턴스에서 구동 가능하여, 90B 모델이 필요로 하는 ml.g5.48xlarge 대비 인프라 비용을 획기적으로 절감했다.

실무 Takeaway

특정 도메인 데이터로 정교하게 파인튜닝된 3B 소형 모델은 범용 90B 대형 모델보다 높은 정확도와 비용 효율성을 동시에 제공할 수 있다.
기업 내 AI 역량 강화를 위해서는 단순 강의보다 리더보드와 실습 환경이 제공되는 게임화된 경쟁 방식이 참여도와 학습 효과를 극대화한다.
LLM-as-a-Judge 방식을 활용하면 대규모 모델 평가를 자동화하고 객관적인 벤치마크 지표를 신속하게 확보하여 반복적인 모델 개선이 가능하다.

언급된 리소스

문서AWS AI League 공식 사이트

API DocsSageMaker AI 서버리스 모델 커스터마이징