PPO와 고전적 엘리베이터 배차 알고리즘 비교를 위한 커스텀 Gymnasium 환경 구축

작성자가 공유한 구체적인 벤치마크 수치와 GitHub 코드에 대해 긍정적인 반응이 예상되며, 특히 보상 설계의 세부 내용에 대한 관심이 높다.

• 강화학습 에이전트의 학습 안정성을 높이려면 초기 설계 단계에서 보상 신호가 너무 희소(Sparse)하지 않은지 점검하고 밀집 보상(Dense Reward)으로 개선해야 한다.
• 커스텀 환경 구축 시 Gymnasium 표준 API를 준수하면 다양한 강화학습 알고리즘 라이브러리를 즉시 적용하여 비교 실험하기 용이하다.

근접 정책 최적화(PPO)

— 강화학습에서 정책의 급격한 변화를 방지하여 안정적인 학습을 가능하게 하는 알고리즘이다. 이전 정책과 새 정책 사이의 변화율을 일정 범위 내로 제한(Clipping)함으로써 데이터 효율성과 견고함을 동시에 확보한다.

짐네이지움(Gymnasium)

— 강화학습 에이전트와 환경 간의 상호작용을 위한 표준 API를 제공하는 라이브러리이다. OpenAI Gym의 유지보수 종료 이후 커뮤니티에 의해 관리되는 후속 프로젝트로, 다양한 시뮬레이션 환경 구축에 필수적이다.

보상 설계(Reward Engineering)

— 에이전트가 원하는 목표를 달성하도록 보상 함수를 정의하고 조정하는 과정이다. 보상이 너무 희소하면 학습이 어렵기 때문에, 적절한 피드백을 지속적으로 제공하는 밀집 보상(Dense Reward) 구조를 만드는 것이 핵심이다.

목적지 배차 시스템(Destination Dispatching)

— 승객이 엘리베이터에 타기 전 외부 패널에 목적지 층을 입력하면, 시스템이 가장 효율적인 차량을 할당하는 고전적 알고리즘이다. 승객을 그룹화하여 정지 횟수를 줄이고 대기 시간을 최적화하는 데 사용된다.