강화학습 토이 게임 레포지토리 구축 (3개 게임 학습 완료 및 2개 진행 중)

작성자의 프로젝트에 대해 긍정적인 반응이 나타났으며 특히 직접 환경을 구축하고 다양한 DQN 변형 기법을 적용한 점이 높게 평가받았다.

• 단순한 Snake 게임부터 시작하여 점진적으로 복잡한 환경으로 확장하는 것이 강화학습 원리 이해에 효과적이다.
• 에이전트의 성능이 정체될 때는 Double DQN이나 Prioritized Replay 같은 개선 기법을 도입하여 학습 안정성을 높일 수 있다.

심층 Q-네트워크(DQN (Deep Q-Network))

— Q-Learning에 심층 신경망을 결합하여 고차원의 상태 공간에서도 최적의 행동을 학습할 수 있게 한 강화학습 알고리즘이다. 에이전트가 환경과 상호작용하며 얻은 경험을 신경망에 학습시켜 보상을 최대화하는 정책을 찾아낸다.

근사 정책 최적화(PPO (Proximal Policy Optimization))

— 정책 업데이트 시 변화 폭을 일정 범위 내로 제한하여 학습의 안정성을 높인 강화학습 알고리즘이다. 구현이 비교적 쉽고 성능이 뛰어나 현재 가장 널리 사용되는 정책 경사 기반 방법 중 하나이다.

우선순위 경험 재현(Prioritized Experience Replay)

— 에이전트의 과거 경험 중 학습 효율이 높은 중요한 샘플에 더 높은 우선순위를 부여하여 학습하는 기법이다. 무작위 샘플링보다 학습 속도를 높이고 성능을 개선하는 데 기여한다.

공유 정책(Shared Policy)

— 다중 에이전트 환경에서 여러 에이전트가 동일한 신경망 파라미터를 공유하여 학습하는 방식이다. 학습 효율을 높이고 에이전트 간의 협동이나 일관된 행동을 유도하는 데 유리하다.

관측 공간(Observation Space)

— 에이전트가 환경으로부터 받아들이는 정보의 범위와 형태를 정의한 집합이다. 게임 내 위치, 속도, 거리 등의 수치 데이터가 포함되며 에이전트의 의사결정에 직접적인 근거가 된다.