Behavioral Cloning과 LSTM을 활용한 Resident Evil 4 Remake 플레이 AI 학습

실용적 조언

게임 AI 학습 시 단순 프레임 반응보다 LSTM을 활용한 시퀀스 학습이 일관성 유지에 유리하다.
복잡한 상황 판단이 필요한 경우 더 방대한 전문가 데이터셋 확보가 필수적이다.

섹션별 상세

Behavioral Cloning 기법을 사용하여 플레이어의 게임 플레이 궤적을 학습시켰다. 입력 데이터로 이동, 사격, 재장전, 회피 등의 행동 데이터를 기록하여 모델이 플레이어의 결정을 모방하도록 처리했다. 이 방식은 전문가의 행동 데이터를 직접 모방하여 정책을 학습하는 지도 학습의 일종이다. 실제 게임 내 마을 환경에서의 움직임을 데이터셋으로 활용하여 기초적인 상호작용을 구현했다.

단순한 프레임 단위 반응을 넘어 시간적 맥락을 유지하기 위해 LSTM 레이어를 추가했다. 이전 프레임들의 정보를 메모리에 저장하여 현재 시점의 결정에 반영하는 순차 데이터 처리 방식을 채택했다. 이를 통해 AI가 단일 이미지 기반의 즉각적 반응이 아닌, 연속적인 게임 흐름 속에서 일관된 행동을 수행하도록 유도했다.

단일 적을 상대할 때는 양호한 성능을 보였으나 다수의 적이 등장할 때 의사결정 병목 현상이 발생했다. 여러 적이 동시에 화면에 나타날 경우 싸울지 도망칠지에 대한 복합적인 판단 로직에서 한계를 드러냈다. 이러한 미묘한 상황 판단은 더 방대한 데이터셋 없이는 모방 학습만으로 구현하기 어렵다는 실험적 결론을 얻었다.

용어 해설

행동 모방 학습(Behavioral Cloning): — 전문가의 행동 데이터를 수집하여 이를 정답지로 삼아 모델을 지도 학습시키는 기법이다. 에이전트가 복잡한 보상 함수를 직접 설계하지 않고도 인간의 조작 방식을 빠르게 습득할 수 있게 돕는 역할을 한다.
장단기 메모리(LSTM): — 순환 신경망(RNN)의 일종으로 시퀀스 데이터 내에서 중요한 정보를 장기간 유지하거나 불필요한 정보를 삭제하는 게이트 메커니즘을 가진다. 게임 플레이처럼 과거의 프레임 정보가 현재의 결정에 영향을 주는 시계열 데이터 처리에 효과적이다.
궤적(Trajectory): — 에이전트가 환경 내에서 시간에 따라 수행한 상태와 행동의 연속적인 흐름을 의미한다. 모방 학습에서는 모델이 특정 상황에서 어떤 행동을 취해야 하는지 학습하기 위한 핵심 데이터셋으로 활용된다.

언급된 도구

GitHub추천링크

소스 코드 및 주피터 노트북 공유

언급된 리소스

GitHubRE4 AI 학습 소스 코드 및 노트북