Pygame 기반 드론 요격 강화학습 환경 구축 및 보상 설계 실험

작성자의 실험 결과에 대해 긍정적이며, 보상 설계 방식에 관심을 보였다.

• 에이전트의 특정 행동을 억제하고 싶다면 해당 행동에 작은 음의 보상을 부여할 것
• 학습 속도를 높이기 위해 불필요한 의존성을 제거한 커스텀 환경 구축을 고려할 것

보상 설계(Reward Shaping)

— 강화학습에서 에이전트가 목표 행동을 더 빨리 학습하도록 보상 함수를 세밀하게 조정하는 기법이다. 단순한 성공/실패 보상 외에 중간 단계의 행동에 점수를 부여하여 학습의 방향성을 제시한다. 에이전트의 최종 성능과 행동 양식을 결정짓는 핵심 요소이다.

엡실론-그리디(Epsilon-greedy)

— 에이전트가 새로운 행동을 시도하는 탐험과 이미 아는 최선의 행동을 하는 착취 사이의 균형을 맞추는 전략이다. 일정 확률로 무작위 행동을 선택하여 지역 최적점에 빠지는 것을 방지한다. 학습 초기에는 높은 탐험 확률을 유지하다 점차 낮추는 방식이 일반적이다.

타겟 네트워크(Target Network)

— 강화학습 알고리즘에서 학습의 안정성을 높이기 위해 사용하는 별도의 신경망이다. 메인 네트워크의 가중치를 주기적으로 복사하여 목표값을 계산할 때 사용함으로써 학습 중 발생하는 수치적 진동을 억제한다. 이를 통해 신경망 업데이트 시 발생하는 상관관계 문제를 완화한다.

상태 벡터(State Vector)

— 에이전트가 현재 환경의 상태를 이해하기 위해 전달받는 수치 데이터의 집합이다. 이 사례에서는 드론의 위치, 속도, 각도 등 10개의 변수가 벡터 형태로 입력되어 에이전트의 판단 근거가 된다. 입력 데이터의 구성에 따라 에이전트가 학습할 수 있는 정보의 질이 달라진다.