기업용 AI를 위한 Nova 모델 맞춤화 도구, Nova Forge SDK 출시

섹션별 상세

01

Nova Forge SDK는 데이터 준비, 학습 작업 관리, 모델 배포에 이르는 전체 맞춤화 수명 주기를 관리하는 통합 툴킷이다. 개발자가 인프라의 복잡성을 신경 쓰지 않고 모델 실험에 집중할 수 있도록 지능적인 기본값과 가이드를 제공한다.

Nova Forge SDK를 사용하여 모델 커스터마이징 작업을 실행하는 과정을 보여주는 애니메이션이다. — ScreenshotSDK의 간결한 인터페이스를 통해 복잡한 설정 없이 학습 작업을 시작하는 실제 사용자 경험을 시각화한다. 코드 몇 줄로 데이터 로드부터 학습 실행까지 가능함을 보여준다.

02

SDK 아키텍처는 입력 레이어, 커스터마이저 레이어, 출력 레이어의 3단계 구조로 설계되었다. 입력 레이어는 하드웨어와 데이터를 정의하고, 커스터마이저 레이어는 최적의 레시피를 구성하여 작업을 실행하며, 출력 레이어는 학습된 모델과 로그 아티팩트를 생성한다.

Nova Forge SDK의 Input, Customizer, Output 레이어 구조를 나타내는 아키텍처 다이어그램이다. — DiagramSDK가 입력을 어떻게 처리하고 내부적으로 SageMaker 작업을 실행하여 최종 모델 아티팩트를 생성하는지 흐름을 설명한다. 런타임 매니저, 학습 방법, 데이터가 Customizer 모듈로 통합되는 구조를 명확히 보여준다.

03

Amazon Bedrock의 SFT/RFT부터 SageMaker AI의 DPO, LoRA, Full Rank 학습까지 광범위한 최적화 옵션을 지원한다. 이는 단순한 텍스트 생성을 넘어 복잡한 추론이나 특정 선호도에 맞춘 모델 정렬까지 가능하게 한다.

04

파괴적 망각 현상을 방지하기 위해 Amazon이 큐레이션한 데이터셋과 사용자 데이터를 혼합하여 학습할 수 있는 기능을 제공한다. 이를 통해 모델이 특정 도메인 지식을 습득하면서도 기존의 일반적인 추론 및 지시 이행 능력을 유지하도록 돕는다.

05

Python 3.12 이상 환경을 요구하며 amzn-nova-forge 패키지 설치를 통해 즉시 사용할 수 있다. SageMaker Training Jobs(SMTJ)를 기본 컴퓨팅 플랫폼으로 사용하며 고성능 학습을 위해 ml.p5.48xlarge 인스턴스 활용을 권장한다.

bash

pip install amzn-nova-forge

Nova Forge SDK를 설치하는 명령어

python

from amzn_nova_forge import (
    NovaModelCustomizer,
    SMTJRuntimeManager,
    TrainingMethod,
    EvaluationTask,
    CSVDatasetLoader,
    Model,
)

Nova Forge SDK의 주요 모듈을 임포트하는 예시

용어 해설

지도 미세 조정(Supervised Fine-Tuning): — 레이블이 지정된 데이터셋을 사용하여 모델이 특정 지시사항을 따르거나 특정 도메인의 지식을 학습하도록 하는 기법이다. 모델의 출력 형식을 고정하거나 특정 작업의 정확도를 높이는 데 필수적이다.
직접 선호도 최적화(Direct Preference Optimization): — 별도의 보상 모델 없이 인간의 선호도 데이터를 직접 사용하여 모델을 정렬하는 기법이다. 기존 RLHF 방식보다 계산 효율성이 높고 안정적인 학습이 가능하다는 장점이 있다.
파괴적 망각(Catastrophic Forgetting): — 신경망이 새로운 정보를 학습할 때 이전에 습득했던 지식을 급격히 잃어버리는 현상이다. 특정 도메인에 특화된 학습을 진행할 때 모델의 일반적인 추론 능력이 저하되는 주요 원인이 된다.
저순위 적응(LoRA): — 모델의 전체 파라미터를 수정하는 대신 일부 가중치 행렬만 학습시켜 메모리 사용량과 계산 비용을 획기적으로 줄이는 파인튜닝 기법이다. 적은 자원으로도 대형 모델을 효율적으로 최적화할 수 있게 한다.
강화 미세 조정(Reinforcement Fine-Tuning): — 강화 학습 원리를 적용하여 모델이 특정 목표를 더 잘 달성하도록 미세 조정하는 방식이다. 모델의 추론 성능을 극대화하거나 복잡한 의사결정 능력을 개선하는 데 사용된다.

기술

Python
Nova Forge SDK
Amazon SageMaker AI
Amazon Bedrock
Amazon Nova

활용 사례

도메인 특화 챗봇 구축
기업 전용 워크플로 자동화
특정 산업 용어 이해 모델 개발
모델 성능 및 비용 최적화

언급된 리소스

GitHubNova Forge SDK GitHub

문서SageMaker Execution Role Documentation