스탠퍼드 CS221: 강화학습 II - 함수 근사와 정책 경사 알고리즘

• •Q-learning은 Off-policy 방식으로 최적의 Q-value를 직접 추정한다
• •SARSA는 On-policy 방식으로 현재 정책에 따른 가치를 추정한다
• •모델 프리 방식은 MDP의 전이 확률을 몰라도 피드백만으로 학습이 가능하다

강화학습의 기본 요소인 상태(State), 행동(Action), 보상(Reward) 및 Q-value의 개념을 미리 숙지해야 한다.

• •상태를 고차원 피처 벡터로 매핑하여 신경망의 입력으로 사용한다
• •학습되지 않은 상태에 대해서도 유사한 피처를 통해 가치를 추론하는 일반화가 가능하다
• •PyTorch의 선형 레이어를 활용하여 Q-value 예측 모델을 구현했다

차원의 저주(Curse of Dimensionality)로 인해 발생하는 테이블 기반 방식의 한계를 이해하는 것이 중요하다.

• •Loss 함수는 (예측 Q-value - 타겟 Q-value)^2으로 정의된다
• •타겟값 계산 시 다음 상태에서 가능한 행동 중 최대 Q-value를 선택한다
• •학습 과정에서 Epsilon-greedy 정책을 사용하여 탐험과 활용의 균형을 맞췄다

PyTorch의 자동 미분 기능과 강화학습의 벨만 방정식을 결합하는 논리를 파악해야 한다.

• •정책을 확률 분포로 모델링하여 행동 선택의 유연성을 확보한다
• •REINFORCE 알고리즘은 에피소드가 끝난 후 전체 보상을 바탕으로 업데이트를 수행한다
• •성공적인 행동의 로그 확률을 보상 크기에 비례하여 증가시킨다

로그 확률의 미분 성질을 이용한 Policy Gradient Theorem의 유도 과정을 이해해야 한다.

• •Baseline은 보상의 평균적인 수준을 나타내며 업데이트의 기준점이 된다
• •Actor는 정책을 업데이트하고 Critic은 상태 가치를 평가하여 Actor를 돕는다
• •분산 감소 기법을 통해 더 적은 샘플로도 안정적인 정책 학습이 가능하다

통계적 분산이 강화학습의 수렴 속도와 안정성에 미치는 영향을 이해해야 한다.