인간 피드백 기반 강화학습(RLHF)을 통한 LLM 성능 극대화 전략

섹션별 상세

01

사전 학습된 모델은 일반적인 텍스트 완성에는 능숙하지만 특정 비즈니스 요구사항이나 인간의 상호작용 방식에 최적화되어 있지 않다. RLHF는 모델을 단순한 자동 완성 도구에서 유용한 비서 형태로 조향(Steer)하여 응답의 스타일, 형식, 관련성을 획기적으로 개선한다. 이를 통해 범용 모델이 해결하지 못하는 도메인 특화 작업에서 높은 정확도를 확보할 수 있다. 모델의 지식은 이미 사전 학습 단계에 존재하므로, RLHF는 그 지식을 찾아내고 활용하는 방식을 학습시키는 과정이다.

프롬프팅, SFT, 선호도 튜닝의 세 가지 LLM 적응 방식을 비교한 다이어그램 — DiagramLLM을 목적에 맞게 조정하는 세 가지 단계를 보여줍니다. 프롬프팅은 단순 지시, SFT는 정답 예시 학습, 선호도 튜닝은 보상 모델과 PPO/DPO를 이용한 정렬 과정을 설명하며 각 단계의 데이터 요구사항을 명시합니다.

02

PPO는 정책, 보상, 가치, 참조 모델이라는 네 가지 구성 요소를 유기적으로 결합하여 모델을 최적화한다. 보상 모델이 인간의 선호도를 시뮬레이션하고 가치 모델이 예상 보상을 예측하며 정책 모델을 업데이트하는 흐름을 가진다. 특히 KL 발산 항을 최적화 목적 함수에 포함하여 모델이 초기 상태에서 너무 멀어지지 않도록 규제함으로써 학습의 안정성을 보장한다. 이러한 복잡한 구조 덕분에 PPO는 다면적인 보상 함수를 최적화하고 노이즈가 섞인 데이터에서도 강건한 성능을 유지한다.

03

DPO는 보상 모델 학습 단계를 생략하고 선호되는 답변과 그렇지 않은 답변의 로그 확률 차이를 이용해 직접 최적화하는 간소화된 방식이다. PPO에 비해 계산 비용이 낮고 구현 및 디버깅이 쉬워 자원이 제한된 환경에서 선호된다. 하지만 복잡한 선호도 지형을 캡처하는 능력이 PPO보다 부족할 수 있어 실무 적용 시 작업의 난이도에 따른 선택이 필요하다. 데이터 품질이 완벽하지 않은 실제 운영 환경에서는 여전히 PPO가 더 우수한 결과를 내는 경우가 많다.

04

RLHF를 적용한 Llama 3 8B 모델은 특정 벤치마크에서 수백 배 큰 모델들을 압도하는 성과를 거두었다. NVIDIA ChatRAG 벤치마크에서는 GPT-4를 능가하는 성능을 보였으며, BIRD SQL 벤치마크에서는 성능을 두 배 이상 끌어올리며 복잡한 구조적 언어 작업 능력을 입증했다. 이는 모델의 규모보다 특정 작업에 대한 정교한 정렬이 실질적인 성능 향상에 더 큰 영향을 미칠 수 있음을 시사한다. 결과적으로 소형 모델로도 고성능 서비스를 구축하여 비용과 지연 시간을 동시에 절감할 수 있다.

모델 크기별 베이스 모델, 프롬프팅, SFT, RL의 승률 비교 차트 — Chart강화학습(RL)의 강력함을 시각화한 차트로, 1.3B 규모의 모델에 RL을 적용했을 때 175B 규모 모델에 SFT만 적용한 것보다 더 높은 승률을 기록할 수 있음을 보여줍니다. 이는 모델 크기보다 학습 기법이 성능에 미치는 영향이 클 수 있음을 입증합니다.

Llama 3 8B 모델에 Adaptive PPO를 적용했을 때의 RAG 성능 향상 비교 — ChartNVIDIA의 ChatQA-1.5와 비교하여 Adaptive PPO를 적용한 Llama 3 8B 모델이 ChatRAG 벤치마크에서 약 9%의 절대적인 성능 향상을 보였음을 나타냅니다. 이는 소형 모델도 강화학습을 통해 GPT-4 수준의 RAG 성능을 낼 수 있음을 시사합니다.

05

고품질 RLHF 데이터셋 구축의 최대 병목은 도메인 지식을 갖춘 전문 어노테이터 확보와 품질 관리이다. 단순한 선호도 조사를 넘어 의학, 법률 등 전문 분야의 맥락을 이해하는 인력이 필요하며, 어노테이터 간의 일치도와 편향을 지속적으로 모니터링해야 한다. 정적 라벨링(기존 데이터 평가)과 동적 라벨링(실시간 상호작용을 통한 데이터 생성)을 적절히 혼합하는 전략이 데이터의 다양성과 품질을 보장한다. 데이터 수집부터 학습, 평가, 서빙까지 이어지는 통합 플랫폼 없이는 프로덕션 수준의 RLHF 운영이 불가능하다.

RLHF 운영 시 발생하는 주요 도전 과제들을 정리한 마인드맵 — Diagram확장성(Scaling), 품질(Quality), 자원(Resources), 인간 전문성(Human Expertise)이라는 네 가지 핵심 축을 중심으로 RLHF 도입 시 겪는 어려움을 분석합니다. 특히 고품질 피드백의 비용 문제와 도메인 전문가 확보의 중요성을 강조합니다.

용어 해설

인간 피드백 기반 강화학습(RLHF): — 인간의 선호도를 반영하여 언어 모델을 미세 조정하는 기법이다. 모델의 출력을 사람이 평가하고 이를 보상 모델로 학습시킨 뒤, 강화학습 알고리즘을 통해 모델이 더 선호되는 답변을 생성하도록 유도한다. 모델을 인간의 의도와 가치관에 정렬(Alignment)시키는 데 핵심적인 역할을 한다.
근사 정책 최적화(PPO): — 강화학습에서 정책을 안정적으로 업데이트하기 위해 사용되는 알고리즘이다. 이전 정책과 새 정책 사이의 변화 폭을 제한하여 학습의 불안정성을 줄이는 클리핑 메커니즘을 사용한다. RLHF 과정에서 모델이 급격하게 변하는 것을 방지하며 성능을 개선하는 데 널리 쓰인다.
직접 선호도 최적화(DPO): — 별도의 보상 모델 학습 없이 선호도 데이터를 직접 사용하여 모델을 최적화하는 기법이다. PPO보다 구조가 단순하고 계산 비용이 적어 구현이 용이하다는 장점이 있다. 하지만 데이터에 노이즈가 많거나 복잡한 선호도 지형을 가진 경우 PPO보다 성능이 낮을 수 있다.
KL 발산(KL Divergence): — 두 확률 분포 사이의 차이를 측정하는 지표이다. RLHF에서는 학습 중인 모델이 원래의 참조 모델(Reference Model)에서 너무 멀어지지 않도록 규제하는 역할을 한다. 이를 통해 모델이 보상 모델의 허점을 파고드는 '보상 해킹'을 방지하고 안정적인 성능을 유지하게 한다.

기술

Llama 3
GPT-4
TRL
RL4LMs
Adaptive Engine

활용 사례

고성능 고객 지원 챗봇
정확도 높은 RAG 시스템
자연어 기반 데이터베이스 쿼리(Text-to-SQL)
브랜드 맞춤형 콘텐츠 생성

언급된 리소스

GitHubTRL (Transformer Reinforcement Learning)

GitHubRL4LMs