Amazon Nova Forge 기반 SageMaker HyperPod 다중 회차 RL 훈련 파이프라인 아키텍처

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

TL;DR

엔터프라이즈 에이전트가 여러 단계의 도구 호출과 오류 복구를 필요로 할 때 단일 응답만 최적화하는 RLHF는 한계가 생긴다; 이를 해결하기 위해 본문은 전체 상호작용 시퀀스를 보상 기준으로 최적화하는 다중 회차 RL을 제안하고 Amazon Nova Forge와 SageMaker HyperPod를 결합한 이벤트 기반 파이프라인을 제시한다. 이 파이프라인은 S3 업로드를 트리거로 EventBridge와 Step Functions가 실행을 시작하고 HyperPod에서 모델 응답과 GRPO 가중치 업데이트를 수행하며 ECS Fargate가 보상 환경을 실행하고 Nova Forge SDK가 메시지 라우팅과 상태 추적을 담당한다. 배포는 AWS CDK로 장기 인프라를 일회성 프로비저닝하고 각 학습 실행은 임시 리소스를 띄워 GPU 유휴 시간을 줄이는 두 단계 구조로 설계되어 반복 실험과 인프라 관리의 효율을 높인다. 관리형 서버리스 옵션과 직접 제어형 Nova Forge on HyperPod 중에서 요구에 따라 편의성과 세밀한 제어를 선택할 수 있다.

섹션별 상세

01

엔터프라이즈 에이전트가 여러 단계로 구성된 워크플로를 실행할 때 단일 응답만 최적화하는 기존 RLHF 접근은 한계가 생긴다. 에이전트의 개별 행동 품질이 이후 여러 단계의 결과에 의존하기 때문에 전체 시퀀스를 고려한 최적화가 필요하다. 다중 회차 RL은 상호작용 시퀀스 전체를 기준으로 정책을 갱신하여 도구 조율과 중간 실패 복구 능력을 학습하도록 만든다.

02

솔루션은 S3에 데이터가 업로드되면 EventBridge가 트리거하고 Step Functions가 파이프라인을 오케스트레이션하는 이벤트 기반 흐름으로 동작한다. 모델 응답 생성과 GRPO 가중치 업데이트는 SageMaker HyperPod에서 수행되고 보상 환경은 ECS Fargate에서 실행되며 Nova Forge SDK가 모델과 환경 사이의 메시지 라우팅과 대화 상태 추적을 담당한다. 이 구성은 데이터 업로드를 입력으로 받아 보상 계산과 정책 갱신을 거쳐 학습 작업을 제출하는 출력으로 이어진다.

03

배포 패턴은 두 단계로 나뉘며, AWS CDK로 VPC·EKS/HyperPod·ECS·S3·IAM·파이프라인 같은 장기 인프라를 일회성으로 프로비저닝하고 각 학습 실행은 자체 임시 리소스를 띄운다. 이렇게 하면 GPU 같은 고가 자원이 학습 실행 사이에 유휴 상태로 오래 머무르지 않으며 반복 실험 시 전체 인프라 재배포가 필요 없다. 글의 예시에서는 Wordle을 학습 과제로 사용해 파이프라인 동작을 검증하는 단계가 포함되어 있다.

04

관리형 서버리스 형태의 다중 회차 RL 기능이 SageMaker에서 제공되는 반면, 자체 에이전트 환경·커스텀 오케스트레이션·특정 인스턴스 설정이 필요한 경우에는 Nova Forge on HyperPod로 완전한 제어를 확보할 수 있다. HyperPod는 모델 컴퓨트와 GRPO 업데이트를, Fargate는 보상 환경 실행을 담당하며 Nova Forge는 보상 라우팅과 상태 추적을 연결한다. 이 조합은 관리형 편의성과 직접 제어의 균형을 맞추어 복잡한 워크플로 학습을 가능하게 한다.

이미지 분석

Diagram
다이어그램은 S3에 데이터가 올라오면 EventBridge가 이를 감지하고 Lambda로 이어져 Step Functions 파이프라인을 실행하는 이벤트 기반 워크플로를 시각적으로 보여준다. 내부에 HyperPod와 EKS 클러스터, ECS Fargate 보상 워커, VPC 구성, CodeBuild 및 배포·검증 단계가 표시되어 있어 글에 서술된 '두 단계 배포'와 런타임의 임시 리소스 활용 구조를 직접 연결한다. 이 시각 자료는 각 컴포넌트가 어떤 역할로 학습 루프에 참여하는지와 보상 라우팅 흐름을 한눈에 파악하게 한다.
SageMaker HyperPod, ECS Fargate, S3, EventBridge, Lambda, Step Functions 등으로 구성된 이벤트 기반 다중 회차 RL 훈련 파이프라인 아키텍처 다이어그램이다.

용어 해설

다중 회차 강화학습(Multi-turn RL): — 다중 회차 강화학습은 에이전트의 전체 상호작용 시퀀스를 보상 신호로 최적화하여 단계별 의사결정과 도구 조율, 중간 실패 복구 능력을 학습시키는 기법이다. 입력으로는 대화 또는 연속된 작업 상태가 주어지고 에이전트는 여러 턴에 걸쳐 행동을 선택하며 누적 보상을 최대화하도록 정책을 갱신한다. 복잡한 워크플로에서 국소적 응답 최적화로는 잡기 어려운 장기적 오류 전파를 줄이는 데 중요하다.
Group Relative Policy Optimization(GRPO): — GRPO는 그룹 단위로 정책 업데이트를 수행하는 강화학습 최적화 기법으로, 여러 에피소드나 대화 흐름을 묶어 상대적 성과에 기반한 가중치 갱신을 한다. 이 방법은 개별 턴의 변동성을 줄이고 일관된 정책 개선을 도모하기 위해 설계되며 대화형 에이전트의 다중 회차 학습에 활용된다. 아키텍처에서 HyperPod 기반 모델에 대해 GRPO 가중치 업데이트가 적용되어 정책을 학습한다는 점이 중요하다.
Nova Forge SDK: — Nova Forge SDK는 모델과 외부 보상 환경 간 메시지 라우팅과 대화 상태 추적을 담당하는 소프트웨어 계층으로, 학습 도중 상태 동기화와 보상 전달을 자동화한다. 입력으로 모델의 응답과 환경의 평가를 수신하고 내부 상태를 업데이트한 뒤 보상 신호와 다음 행동을 중재하는 역할을 수행한다. 이 SDK는 분리된 컴퓨팅 서피스 간 통신과 보상 라우팅을 단순화하여 다중 자원 기반 학습을 가능하게 한다.

기술

Amazon S3
Amazon SageMaker HyperPod
Amazon Nova Forge
AWS CDK
ECS on Fargate
AWS Step Functions
Amazon EventBridge

활용 사례

다중 단계 워크플로를 수행하는 에이전트의 정책 학습
도구 조율과 중간 실패 복구 능력을 요구하는 시뮬레이션 기반 보상 학습
이벤트 기반 트리거로 자동화된 학습 실행 파이프라인