고전 아케이드 게임 파이널 파이트를 활용한 행동 복제 및 강화학습 실험

작성자가 공유한 GitHub 저장소와 실험 접근 방식에 대해 흥미롭다는 반응이며, 제한된 데이터로 BC 성능을 높이는 방법과 PPO로의 전환 전략에 대한 논의가 기대된다.

• 에뮬레이터 환경 구축 시 MultiBinary 액션 공간 매핑 로직을 먼저 검증하여 입력 지연이나 오정렬이 없는지 확인해야 한다.
• LSTM 정책 사용 시 평가 환경과 학습 환경 간의 은닉 상태 전달 방식이 동일한지 체크해야 한다.

행동 복제(Behavior Cloning)

— 전문가의 시연 데이터를 직접 학습하여 정책을 모방하는 모방 학습의 가장 단순한 형태이다. 보상 함수 설계 없이도 전문가의 행동(상태-액션 쌍)을 지도 학습 방식으로 학습하여 에이전트가 유사한 상황에서 동일한 행동을 하도록 유도한다.

근접 정책 최적화(PPO)

— 정책 업데이트 시 이전 정책과 너무 큰 차이가 나지 않도록 클리핑(Clipping) 기법을 사용하는 강화학습 알고리즘이다. 학습의 안정성이 높고 구현이 비교적 간단하여 다양한 환경에서 표준적인 강화학습 알고리즘으로 널리 사용된다.

생성적 적대 모방 학습(GAIL)

— 생성적 적대 신경망(GAN)의 구조를 모방 학습에 도입하여 전문가의 데이터 분포와 에이전트의 데이터 분포를 구별할 수 없게 만드는 기법이다. 단순 BC보다 복잡한 환경에서 전문가의 의도를 더 잘 포착하며 강화학습과 결합하여 성능을 높일 수 있다.

행동 공간(Action Space)

— 에이전트가 환경 내에서 취할 수 있는 모든 가능한 행동의 집합이다. 이 게시물에서는 MultiBinary 형태의 신경망 출력을 에뮬레이터가 이해할 수 있는 입력 신호로 매핑하는 과정에서의 기술적 도전 과제를 다루고 있다.