스탠포드 CS221: 강화 학습 - 원리와 알고리즘

• •상태 전이 확률 T(s, a, s')와 보상 함수 R(s, a, s')이 MDP의 핵심이다
• •정책 파이(π)는 상태를 행동으로 매핑하는 함수이다
• •가치 반복(Value Iteration)을 통해 최적 정책을 도출할 수 있다

MDP는 미래의 상태가 현재의 상태와 행동에만 의존한다는 마르코프 성질을 가정한 의사결정 모델이다.

• •에이전트는 get_action과 incorporate_feedback 두 가지 주요 기능을 수행한다
• •학습 초기에는 환경에 대한 정보가 없으므로 탐험(Exploration)이 필수적이다
• •보상은 행동의 결과로 주어지는 수치적 신호이며 비용의 음수 값으로 이해할 수 있다

강화 학습은 정답지가 주어지는 지도 학습과 달리 보상 신호만을 통해 스스로 학습해야 한다.

• •상태 전이 횟수를 기록하여 확률 T(s, a, s')를 추정한다
• •추정된 모델을 기반으로 기존의 가치 반복 알고리즘을 그대로 적용한다
• •탐험 정책을 통해 충분한 데이터를 수집하는 것이 성능의 핵심이다

모델 기반 방식은 환경이 어떻게 작동하는지에 대한 내부 지도를 먼저 그리는 것과 같다.

• •에피소드가 종료된 후 할인된 보상의 합계를 계산하여 업데이트한다
• •Q(s, a)는 해당 상태-행동 쌍에서 얻은 유틸리티의 평균값이다
• •모델을 명시적으로 구축하지 않고도 최적 정책에 접근할 수 있다

몬테카를로 방식은 실제 경험한 결과만을 바탕으로 가치를 평가하는 경험적 접근법이다.

• •다음 상태에서 실제로 취할 행동(a')의 Q-value를 업데이트에 사용한다
• •현재 정책의 성능을 평가하며 동시에 개선하는 On-policy 방식이다
• •학습률(Learning Rate)을 통해 새로운 정보와 기존 지식의 반영 비율을 조절한다

SARSA라는 이름은 State-Action-Reward-State-Action의 약자로, 업데이트에 필요한 데이터 순서를 의미한다.

• •다음 상태의 최대 Q-value인 max Q(s', a')를 사용하여 업데이트한다
• •탐험을 수행하면서도 최적 정책의 가치를 직접 학습할 수 있다
• •Bellman 최적 방정식을 반복적으로 풀어가는 과정으로 이해할 수 있다

Off-policy는 학습하는 정책과 행동하는 정책이 서로 다를 수 있음을 의미한다.