Amazon Bedrock의 강화 파인튜닝(RFT) 모범 사례

섹션별 상세

01

기존 SFT는 정답 템플릿을 암기하는 경향이 있어 새로운 변형 문제에 취약한 한계가 있다. RFT는 모델이 생성한 응답에 대해 보상 함수가 점수를 부여하고 이를 기반으로 가중치를 업데이트하여 최적의 전략을 스스로 찾게 한다. 이를 통해 수학적 추론이나 코드 생성처럼 결과의 정답 유무가 명확한 작업에서 비약적인 성능 향상을 얻을 수 있다. 모델이 정답에 이르는 논리적 과정을 보상 신호로 학습함으로써 일반화 능력이 강화된다.

02

보상 함수는 작업의 성격에 따라 검증 가능한 방식(RLVR)과 AI 피드백 방식(RLAIF)으로 나뉜다. 수학이나 코딩은 유닛 테스트나 정답 비교를 통해 0 또는 1의 이진 보상을 주거나 중간 과정에 부분 점수를 부여하는 프로그래밍적 검증이 가능하다. 반면 요약이나 창의적 글쓰기는 판별 모델(Judge Model)이 루브릭에 따라 점수를 매기는 방식을 사용하여 주관적 품질을 개선한다. Amazon Bedrock에서는 이 두 방식을 AWS Lambda 함수로 구현하여 학습 루프에 통합할 수 있다.

RLVR과 RLAIF의 아키텍처 비교 다이어그램 — Diagram왼쪽의 RLVR은 Lambda 함수를 통해 환경으로부터 직접적인 보상을 받는 구조를 보여주며, 오른쪽의 RLAIF는 여러 언어 모델이 인간의 지침에 따라 평균적인 보상을 제공하는 구조를 설명한다. 두 방식 모두 Amazon Bedrock 환경에서 언어 모델과 환경 간의 상호작용을 통해 학습됨을 시각화한다.

03

RFT의 성공은 학습 데이터의 분포와 보상 신호의 일관성에 달려 있다. 데이터셋은 실제 운영 환경에서 만날 수 있는 다양한 프롬프트를 포함해야 하며, 기본 모델이 최소한의 보상을 받을 수 있는 기초 능력을 갖추고 있어야 학습이 시작된다. 보상 함수는 유사한 품질의 응답에 대해 일관된 점수를 주어야 하며, 수치 추출 시 콤마나 통화 기호 등을 정규화하여 형식 차이로 인한 불이익을 방지해야 한다. 100~1,000개 정도의 적은 샘플로도 유의미한 성능 개선을 시작할 수 있는 것이 장점이다.

학습률에 따른 FFT와 LoRA의 보상 성능 비교 차트 — Chart전체 파라미터 튜닝(FFT)은 1e-5 부근에서 좁은 최적 범위를 갖는 반면, LoRA는 1e-4에서 1e-3 사이의 더 넓은 범위에서 높은 보상을 유지한다. 이는 LoRA 기반 RFT가 하이퍼파라미터 변화에 더 관대하고 안정적인 성능을 낼 수 있음을 시사한다.

04

학습 과정에서 제공되는 지표들을 통해 모델이 올바르게 학습되고 있는지 실시간으로 모니터링해야 한다. 학습 보상이 우상향하고 검증 보상이 이를 따라가면 과적합 없이 일반화가 이루어지고 있음을 의미한다. 특히 응답 길이가 점진적으로 짧아지면서 보상이 높아진다면 모델이 더 효율적인 추론 경로를 찾은 것으로 해석할 수 있다. 정책 엔트로피가 급격히 0으로 떨어지지 않고 0.8~1.1 수준을 유지해야 모델이 충분한 탐색을 수행하며 최적점에 도달한다.

GSM8K 학습 과정의 Training Reward와 Validation Reward 그래프 — Chart학습 단계가 진행됨에 따라 평균 보상 점수가 0.5에서 약 0.9까지 상승하는 추세를 보여준다. 특히 검증 보상이 학습 보상과 유사하게 상승 후 고점에 도달하는 것은 모델이 데이터를 단순히 암기하지 않고 일반화되고 있음을 입증한다.

학습 에피소드 길이와 정책 엔트로피 변화 그래프 — Chart에피소드 길이가 600대에서 400대로 감소하는 것은 모델이 더 간결하고 효율적인 추론 방식을 학습했음을 의미한다. 정책 엔트로피가 0.8~1.1 사이에서 유지되는 것은 모델이 특정 답변에 매몰되지 않고 건강한 탐색을 지속하고 있음을 보여준다.

용어 해설

강화 파인튜닝(Reinforcement Fine-Tuning): — 정답 라벨이 있는 데이터셋 대신 보상 신호를 사용하여 모델의 행동을 개선하는 기법이다. 모델이 생성한 응답을 보상 함수가 평가하고, 높은 점수를 받은 행동의 확률을 높이는 방식으로 학습한다. 정답을 직접 보여주기 어렵지만 결과의 좋고 나쁨을 판별할 수 있는 작업에 효과적이다.
검증 가능한 보상을 통한 강화학습(RLVR): — 코드 실행 결과나 수학 정답처럼 객관적으로 검증 가능한 규칙을 보상 신호로 사용하는 강화학습 방식이다. 유닛 테스트 통과율이나 정답 일치 여부를 즉각적인 피드백으로 활용한다. 모델이 단순히 패턴을 복제하는 대신 문제 해결을 위한 최적의 전략을 스스로 발견하도록 유도한다.
AI 피드백을 통한 강화학습(RLAIF): — 사람 대신 다른 고성능 언어 모델(Judge Model)이 생성물의 품질을 평가하여 보상을 제공하는 방식이다. 요약의 충실도나 대화의 자연스러움처럼 규칙으로 정의하기 어려운 주관적 가치를 학습시킨다. 사람이 직접 라벨링하는 비용과 시간을 획기적으로 줄이면서도 정렬된 결과를 얻을 수 있다.
정책 엔트로피(Policy Entropy): — 모델이 응답을 생성할 때 얼마나 다양한 전략을 탐색하고 있는지를 나타내는 척도이다. 높은 엔트로피는 모델이 아직 불확실성을 가지고 다양한 시도를 하고 있음을 의미하며, 너무 낮으면 특정 답변에만 고착되는 모드 붕괴 위험이 있다. 학습 과정에서 건강한 탐색이 이루어지고 있는지 판단하는 지표로 쓰인다.

기술

Amazon Bedrock
Amazon Nova
AWS Lambda
LoRA
GSM8K

활용 사례

수학 및 알고리즘 추론 개선
코드 생성 및 유닛 테스트 최적화
구조화된 데이터 추출 및 스키마 준수
AI 피드백 기반의 콘텐츠 요약 및 중재

언급된 리소스

GitHubAmazon Bedrock Samples GitHub - GSM8K Reward Function

문서Amazon Bedrock User Guide - Fine-tuning for Amazon Nova