스탠포드 CS238 | 불확실성 하의 의사결정 | 오프라인 신념 상태 계획법

def qmdp_policy(belief, q_values):
    # belief: states에 대한 확률 분포
    # q_values: 미리 계산된 MDP의 Q-가치
    action_values = {}
    for a in actions:
        # 각 행동에 대해 신념 상태와 Q-가치의 가중 평균 계산
        action_values[a] = sum(belief[s] * q_values[s, a] for s in states)
    return max(action_values, key=action_values.get)

def backup(belief_point, alpha_vectors):
    # 각 행동에 대해 새로운 알파 벡터 생성
    best_alphas = []
    for a in actions:
        # 관측값에 따른 미래 신념 상태에서 가장 좋은 알파 벡터 선택
        # ... (중략)
        new_alpha_a = reward_vector(a) + gamma * expected_future_value
        best_alphas.append(new_alpha_a)
    # 신념 포인트에서 가치를 최대화하는 벡터 반환
    return max(best_alphas, key=lambda alpha: dot(alpha, belief_point))