마르코프 성질
과거의 상태와 무관하게 현재의 상태만이 미래의 상태에 영향을 미친다는 성질이다. 이 성질 덕분에 복잡한 과거 이력을 고려하지 않고 현재 상태 정보만으로 최적의 의사결정을 내릴 수 있는 수학적 모델링이 가능해진다.