고전 아케이드 게임 파이널 파이트를 활용한 행동 복제 및 강화학습 실험

작성자가 공유한 GitHub 저장소와 실험 접근 방식에 대해 흥미롭다는 반응이며, 제한된 데이터로 BC 성능을 높이는 방법과 PPO로의 전환 전략에 대한 논의가 기대된다.

• 에뮬레이터 환경 구축 시 MultiBinary 액션 공간 매핑 로직을 먼저 검증하여 입력 지연이나 오정렬이 없는지 확인해야 한다.
• LSTM 정책 사용 시 평가 환경과 학습 환경 간의 은닉 상태 전달 방식이 동일한지 체크해야 한다.

• 단순 행동 복제(BC)는 보상 함수 없이도 초기 에이전트 학습에 유용하지만 일관된 성능 유지를 위해 GAIL이나 PPO 같은 강화학습 기법과의 결합이 필수적이다.
• 에뮬레이터 기반 환경에서는 신경망의 출력(MultiBinary)과 실제 게임 입력 간의 정확한 액션 공간 매핑과 타임스텝 정렬이 학습 성패를 좌우한다.
• LSTM과 같은 순환 신경망 정책을 적용할 때는 평가 시점의 은닉 상태 초기화와 데이터 로딩 효율성을 신중하게 설계해야 한다.