RLHF와 LLM 학습에 대한 고찰: 정적 보상 모델링의 한계와 다중 에이전트 RL로의 확장

커뮤니티 반응

작성자의 심도 있는 분석에 대해 대체로 긍정적이며, RLHF의 한계를 극복하기 위한 새로운 연구 방향성에 대해 활발한 논의가 예상된다.

주요 논점

01찬성다수

RLHF는 단순한 선호도 정렬 도구일 뿐이며, 진정한 지능을 위해서는 환경 역학이 포함된 RL로 진화해야 한다.

합의점 vs 논쟁점

합의점

RLHF는 현재 i.i.d. 가정을 기반으로 한 정적 최적화에 가깝다.
장기적인 추론 능력을 위해서는 시간적 신용 할당 문제 해결이 필수적이다.

논쟁점

언어 도메인에서 AlphaZero와 같은 Self-play를 구현하기 위한 보상 함수 설계의 어려움이 존재한다.

실용적 조언

복잡한 추론 작업에는 단일 단계 RLHF보다 여러 단계의 사고 과정을 거치는 궤적 기반 보상 설계를 고려해야 한다.
모델의 성능 한계를 돌파하기 위해 다중 에이전트 간의 비판(Critique) 및 협업 시나리오를 학습 파이프라인에 통합하는 실험이 권장된다.

섹션별 상세

RLHF의 정적 보상 모델링(Static Reward Modeling)은 독립 동일 분포(i.i.d.) 샘플과 단기 평가를 가정하여 환경 역학의 변화를 반영하지 못한다. 인간의 선호도를 쌍으로 비교하여 학습하는 방식은 상호작용 궤적에서 발생하는 보상을 포착하기 어렵다. 이는 LLM이 복잡한 환경 변화에 적응하는 능력을 제한하는 구조적 요인이 된다.

현재의 RLHF 설정은 단일 응답이나 짧은 체인에 최적화되어 있어 시간적 신용 할당(Temporal Credit Assignment) 문제가 결여되어 있다. 보상이 즉각적으로 주어지기 때문에 장기적인 정책 결과나 여러 턴에 걸친 일관된 추론을 유지하려는 압력이 부족하다. 결과적으로 모델은 당장의 선호도에만 집중하게 되어 깊이 있는 논리 전개 능력을 확보하는 데 한계가 있다.

LLM은 상태가 없거나(Stateless) 얕은 컨텍스트 환경에서 작동하며 지속적인 세계 모델(World Model)이나 환경 전이를 경험하지 못한다. 표준 RL 환경에서는 에이전트의 행동이 환경의 상태를 변화시키고 이에 적응해야 하지만, LLM은 이러한 내생적 역동성이 배제된 채 학습된다. 이는 언어 모델이 실제 세계의 복잡한 상호작용을 모방하는 데 걸림돌이 된다.

경쟁(Self-play)이나 적대적 역학을 통한 성능 향상 기회가 RLHF의 단일 스칼라 보상 신호로 인해 상쇄되고 있다. AlphaZero와 같은 시스템에서 증명된 자가 학습의 이점을 언어 도메인에 적용하기 위해서는 다중 에이전트 RL 프레임워크가 필요하다. 모델 간의 토론, 비판, 협업을 통해 궤적 수준의 보상을 도출하는 방식이 대안으로 제시된다.

언급된 도구

PPO추천

RLHF 파이프라인에서 정책 업데이트를 최적화하기 위한 표준 알고리즘으로 사용된다.