기업용 AI를 위한 Nova 모델 맞춤화 도구, Nova Forge SDK 출시

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

핵심 요약

AWS는 기업들이 고유 데이터와 워크플로에 맞춰 Nova 모델을 쉽게 최적화할 수 있도록 돕는 Nova Forge SDK를 출시했다. 기존의 복잡한 인프라 설정과 의존성 관리 문제를 해결하여 개발자가 데이터와 비즈니스 로직에만 집중할 수 있는 환경을 제공한다. 이 SDK는 Amazon Bedrock과 SageMaker AI를 아우르는 통합 툴킷으로 SFT, DPO, RFT 등 다양한 학습 기법을 지원한다. 이를 통해 기업은 범용 모델의 한계를 넘어 도메인 특화된 고성능 AI 모델을 효율적으로 구축할 수 있다.

배경

AWS 계정 및 CLI 설정, Python 3.12 이상, IAM User 및 Execution 역할 설정, ml.p5.48xlarge 인스턴스 서비스 쿼터 확보, 데이터 저장을 위한 Amazon S3 버킷

대상 독자

AWS 환경에서 Nova 모델을 파인튜닝하고 도메인 특화 AI 서비스를 구축하려는 머신러닝 엔지니어

의미 / 영향

LLM 커스터마이징의 기술적 장벽과 시간 투입을 획기적으로 낮추어 기업들이 자체 데이터를 활용한 특화 모델을 더 빠르게 시장에 내놓을 수 있게 한다. 이는 AWS 생태계 내에서 모델 학습부터 배포까지의 워크플로를 더욱 공고히 할 것으로 예상된다.

섹션별 상세

Nova Forge SDK는 데이터 준비, 학습 작업 관리, 모델 배포에 이르는 전체 맞춤화 수명 주기를 관리하는 통합 툴킷이다. 개발자가 인프라의 복잡성을 신경 쓰지 않고 모델 실험에 집중할 수 있도록 지능적인 기본값과 가이드를 제공한다.

Nova Forge SDK를 사용하여 모델 커스터마이징 작업을 실행하는 과정을 보여주는 애니메이션이다. — ScreenshotSDK의 간결한 인터페이스를 통해 복잡한 설정 없이 학습 작업을 시작하는 실제 사용자 경험을 시각화한다. 코드 몇 줄로 데이터 로드부터 학습 실행까지 가능함을 보여준다.

SDK 아키텍처는 입력 레이어, 커스터마이저 레이어, 출력 레이어의 3단계 구조로 설계되었다. 입력 레이어는 하드웨어와 데이터를 정의하고, 커스터마이저 레이어는 최적의 레시피를 구성하여 작업을 실행하며, 출력 레이어는 학습된 모델과 로그 아티팩트를 생성한다.

Nova Forge SDK의 Input, Customizer, Output 레이어 구조를 나타내는 아키텍처 다이어그램이다. — DiagramSDK가 입력을 어떻게 처리하고 내부적으로 SageMaker 작업을 실행하여 최종 모델 아티팩트를 생성하는지 흐름을 설명한다. 런타임 매니저, 학습 방법, 데이터가 Customizer 모듈로 통합되는 구조를 명확히 보여준다.

Amazon Bedrock의 SFT/RFT부터 SageMaker AI의 DPO, LoRA, Full Rank 학습까지 광범위한 최적화 옵션을 지원한다. 이는 단순한 텍스트 생성을 넘어 복잡한 추론이나 특정 선호도에 맞춘 모델 정렬까지 가능하게 한다.

파괴적 망각 현상을 방지하기 위해 Amazon이 큐레이션한 데이터셋과 사용자 데이터를 혼합하여 학습할 수 있는 기능을 제공한다. 이를 통해 모델이 특정 도메인 지식을 습득하면서도 기존의 일반적인 추론 및 지시 이행 능력을 유지하도록 돕는다.

Python 3.12 이상 환경을 요구하며 amzn-nova-forge 패키지 설치를 통해 즉시 사용할 수 있다. SageMaker Training Jobs(SMTJ)를 기본 컴퓨팅 플랫폼으로 사용하며 고성능 학습을 위해 ml.p5.48xlarge 인스턴스 활용을 권장한다.

bash

pip install amzn-nova-forge

Nova Forge SDK를 설치하는 명령어

python

from amzn_nova_forge import (
    NovaModelCustomizer,
    SMTJRuntimeManager,
    TrainingMethod,
    EvaluationTask,
    CSVDatasetLoader,
    Model,
)

Nova Forge SDK의 주요 모듈을 임포트하는 예시

실무 Takeaway

Nova Forge SDK를 사용하면 복잡한 인프라 설정 없이 통합된 API를 통해 SageMaker Training Job을 실행하여 모델을 파인튜닝할 수 있다.
도메인 특화 데이터와 Amazon의 큐레이션 데이터를 혼합하여 학습함으로써 모델의 범용 추론 능력을 유지하면서 전문성을 강화할 수 있다.
Nova Lite 2.0 모델의 SFT 학습을 위해서는 ml.p5.48xlarge 인스턴스 4대 이상의 서비스 쿼터를 미리 확보해야 안정적인 수행이 가능하다.

언급된 리소스

GitHubNova Forge SDK GitHub

문서SageMaker Execution Role Documentation