Resident Evil Requiem 플레이를 위한 Behavior Cloning 및 HG-DAgger 기반 AI 에이전트 학습

작성자가 자신의 프로젝트 결과를 공유하며 학습 설정 및 전처리 과정에 대한 추가 정보를 제공할 의사를 밝혀 긍정적인 반응이 예상된다.

• Behavior Cloning 사용 시 발생하는 오류 누적 문제를 해결하기 위해 HG-DAgger와 같은 반복적 개선 기법을 활용할 것
• 실시간 반응이 필요한 환경에서는 프레임 캡처와 액션 입력 사이의 지연 시간을 최소화하는 동기화 작업이 필수적임

Behavior Cloning

— 전문가의 시연 데이터를 지도 학습 방식으로 학습하여 전문가의 행동을 그대로 따라 하도록 만드는 모방 학습의 가장 기본적인 기법이다. 학습 데이터에 포함되지 않은 상황에서 에이전트가 취약해지는 단점이 있으나 구현이 비교적 간단하다.

HG-DAgger

— 에이전트가 불확실한 상황에 처했을 때 인간이 직접 개입하여 올바른 행동을 알려줌으로써 데이터 분포 불일치 문제를 해결하는 알고리즘이다. 인간의 피드백을 통해 에이전트의 정책을 반복적으로 정교화하는 데 매우 효과적이다.

Imitation Learning

— 보상 함수를 직접 설계하는 대신 전문가의 행동 데이터를 통해 최적의 정책을 학습하는 머신러닝의 한 분야이다. 복잡한 환경에서 보상을 정의하기 어려운 경우에 유용하며, 최근 게임 AI 및 로보틱스 분야에서 널리 활용된다.

Action Space

— 에이전트가 환경 내에서 취할 수 있는 모든 가능한 행동의 집합을 의미한다. 이 프로젝트에서는 컨트롤러 입력을 이산적인 단위로 나누어 정의함으로써 에이전트가 명확한 선택지를 기반으로 의사결정을 내릴 수 있도록 설계했다.