Amazon Nova를 위한 강화 파인튜닝(RFT): 피드백을 통한 AI 학습 가이드

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

핵심 요약

대형 언어 모델의 도메인 특화 성능을 높이기 위해 기존에는 수천 개의 정답 데이터가 필요했으나, Amazon Nova의 강화 파인튜닝(RFT)은 평가 기반의 학습 방식을 통해 이를 해결한다. RFT는 모델이 생성한 여러 답변을 보상 함수로 평가하고, 높은 점수를 받은 경로를 강화하는 방식으로 작동한다. 사용자는 Amazon Bedrock의 완전 관리형 서비스부터 SageMaker HyperPod의 대규모 인프라까지 필요에 맞는 구현 계층을 선택할 수 있다. 특히 코드 생성, 수학적 추론, 금융 분석 등 정답 확인이 가능한 영역에서 데이터 구축 비용을 획기적으로 줄이면서 성능을 개선할 수 있다.

배경

LLM 파인튜닝 기본 개념, AWS SageMaker 또는 Bedrock 사용 경험, Python 및 JSONL 데이터 처리 능력

대상 독자

도메인 특화 LLM을 구축하려는 ML 엔지니어 및 데이터 과학자

의미 / 영향

RFT는 고품질 라벨링 데이터 확보가 어려운 전문 영역에서 LLM 커스터마이징의 진입 장벽을 낮춘다. 특히 추론 과정을 최적화하여 운영 비용(토큰 사용량)을 절감할 수 있다는 점에서 기업용 AI 도입의 경제성을 높이는 데 기여할 것이다.

섹션별 상세

RFT는 모방 학습(Imitation)이 아닌 평가 학습(Evaluation) 패러다임을 채택하여, 단계별 추론 과정이 포함된 정답 데이터셋 없이도 모델을 최적화한다.

RFT 프로세스는 응답 생성, 보상 계산(RLVR/RLAIF), 모델 학습(GRPO 알고리즘)의 3단계 자동화 과정을 거쳐 모델이 스스로 최적의 해결 경로를 발견하도록 유도한다.

RFT의 3단계 작동 프로세스를 보여주는 다이어그램이다. — Diagram베이스 모델로부터 여러 응답을 생성하고, 보상 함수로 이를 평가한 뒤, 정책 업데이트를 통해 파인튜닝된 모델을 생성하는 순환 구조를 시각화한다. 이 과정이 반복되면서 최종적으로 최적화된 출력을 얻게 됨을 나타낸다.

AWS는 Bedrock(노코드), SageMaker Serverless(ML 실무자), Training Jobs(하이퍼파라미터 제어), HyperPod(대규모 분산 학습), Nova Forge(연구용) 등 5가지 구현 계층을 제공한다.

AWS에서 제공하는 RFT 구현 계층의 단계별 구조도이다. — DiagramBedrock부터 Nova Forge까지 기술적 복잡도와 제어 권한에 따른 서비스 선택지를 계단식으로 보여준다. 사용자의 ML 전문성에 따라 적절한 도구를 선택할 수 있는 가이드를 제공한다.

RFT는 추론 모델(Reasoning Model)과 결합할 때 특히 강력하며, 모델이 최종 답변뿐만 아니라 중간 사고 과정(Thinking steps)을 더 효율적으로 구성하도록 유도하여 토큰 사용량을 줄인다.

실무 적용 시 모델이 최소한의 정답을 맞힐 수 없는 상태라면 먼저 지도 파인튜닝(SFT)으로 기초 능력을 배양한 후 RFT를 적용하는 단계적 접근 방식이 효과적이다.

RFT 구현을 위한 체계적인 단계별 접근법 플로우차트이다. — Diagram검증 가능한 평가 구축부터 베이스라인 실행, 데이터셋 및 보상 함수 구축, 그리고 RFT 실행으로 이어지는 반복적인 개선 루프를 설명한다. 특히 성능이 낮을 경우 SFT를 먼저 수행해야 한다는 의사결정 포인트를 명시한다.

FinQA 벤치마크 사례 연구 결과, 베이스라인 모델(0.465) 대비 RFT 200단계 학습 후 성능이 0.830으로 약 78% 향상됨이 확인됐다.

json

{
  "messages": [
    {
      "role": "user",
      "content": [
        {
          "type": "text",
          "text": "Context: ....

Question: ....

Provide your answer in the following format:
ANSWER: [your answer here]"
        }
      ]
    }
  ],
  "reference_answer": {
    "answer": "65.3%"
  },
  "data_source": "finqa"
}

RFT 학습을 위한 JSONL 데이터 형식 예시

python

def rft_launcher(train_S3_uri, reward_lambda_arn):
    instance_type = "ml.p5.48xlarge"
    instance_count = 4
    recipe = "fine-tuning/nova/nova_2_0/nova_lite/RFT/nova_lite_2_0_p5_gpu_lora_rft"
    // ...(중략)
    recipe_overrides = {
        "run": {
            "reward_lambda_arn": reward_lambda_arn,
        },
        "training_config": {
            "rollout": {
                "rewards": {
                    "api_endpoint": {
                        "lambda_arn": reward_lambda_arn
                    }
                }
            }
        }
    }
    estimator = PyTorch(
        instance_count=instance_count,
        instance_type=instance_type,
        recipe_overrides=recipe_overrides,
        training_recipe=recipe,
        image_uri=image_uri
    )
    estimator.fit(inputs={"train": train_input}, wait=False)
    return estimator.latest_training_job.name

SageMaker Training Jobs를 사용한 RFT 학습 실행 코드

베이스 모델과 RFT 학습 단계별 성능 비교 막대 그래프이다. — Chart베이스 모델(0.465) 대비 RFT 20단계(0.540), 200단계(0.830)로 학습이 진행됨에 따라 점수가 비약적으로 상승함을 수치로 증명한다. 이는 RFT가 실제 벤치마크 성능 향상에 효과적임을 보여준다.

실무 Takeaway

정답 경로가 명확한 코드 생성이나 수학 문제의 경우, AWS Lambda를 활용한 규칙 기반 보상 함수(RLVR)를 설계하여 데이터 라벨링 비용 없이 모델 성능을 개선할 수 있다.
모델이 초기 학습 단계에서 정답을 전혀 내놓지 못한다면 RFT가 작동하지 않으므로, SFT를 통해 베이스라인 성능을 확보한 뒤 RFT로 고도화해야 한다.
LoRA 방식을 사용하면 Amazon Bedrock에서 온디맨드 추론이 가능하므로, 초기 실험 단계에서는 LoRA로 시작하여 검증 후 Full Rank 학습으로 전환하는 것이 비용 효율적이다.

언급된 리소스

GitHubAmazon Nova RFT GitHub Repository

GitHubSageMaker HyperPod Recipes