강화학습의 세 가지 도그마 (Abel et al., 2024)

연구의 이론적 깊이에 대해 긍정적인 반응이며, 특히 보상 가설의 수학적 한계를 지적한 부분에 대해 많은 공감이 형성됐다.

• 보상 함수 설계 시 단일 수치가 목표 간의 우선순위를 논리적으로 대변할 수 있는지 수학적 공리 관점에서 점검하라.
• 에이전트의 성능 평가 시 고정된 환경에서의 수렴 속도뿐만 아니라 환경 변화에 따른 적응력을 주요 지표로 고려하라.

보상 가설(Reward Hypothesis)

— 모든 목표를 단일 스칼라 보상의 기대값을 최대화하는 것으로 표현할 수 있다는 강화학습의 핵심 전제이다. 이 가설은 수학적 공리를 기반으로 하지만 실제 복잡한 환경에서는 이를 충족하기 어려운 경우가 많아 주의가 필요하다.

지속적 적응(Continual Adaptation)

— 고정된 최적해를 찾는 대신 변화하는 환경에 맞춰 에이전트가 끊임없이 학습을 이어가는 프로세스이다. 이는 정적인 환경을 가정한 기존 강화학습의 한계를 극복하고 실제 세계의 동적인 문제를 해결하는 데 중요하다.

스칼라 보상(Scalar Reward)

— 단일 숫자로 표현되는 보상 값으로, 강화학습 에이전트의 행동을 유도하는 지표로 사용된다. 다중 목표나 상충하는 가치를 하나의 숫자로 압축할 때 발생하는 정보 손실과 수학적 모순이 주요 연구 대상이다.

제1원리(First Principles)

— 더 이상 쪼갤 수 없는 근본적인 물리적 또는 수학적 원리에서 시작하여 현상을 이해하고 시스템을 설계하는 방식이다. 강화학습에서는 에이전트와 환경의 상호작용을 가장 기초적인 수준에서 재정의하는 데 활용된다.