게임을 이기기 위해 플레이하라: 알고리즘 의사결정의 게임 이론적 기초

섹션별 상세

피드백은 고전 제어의 안정화 목적을 넘어 기계학습에서 최적화를 강화하는 수단으로 재정의된다. 의사결정자가 정보를 활용해 정책 공간을 확장함으로써 개루프 방식보다 낮은 비용을 달성하게 한다. 이는 정보의 유무가 결정의 질을 결정짓는 핵심 변수가 됨을 의미한다. 피드백 설계는 시스템이 미지의 미래 환경에서 효과적으로 행동하도록 돕는다.

근거

피드백 정책은 개루프 정책보다 더 넓은 정책 공간을 탐색하므로 항상 더 낮은 비용을 달성한다. — In optimal control, feedback is used for the most narrow-minded reason: it lowers cost.

의사결정 모델은 의사결정자(Player 1)와 환경 또는 적대자(Player 2) 사이의 게임으로 정형화된다. 매 라운드 정보가 공개되면 의사결정자가 행동을 취하고 적대자의 대응에 따라 점수가 결정되는 구조를 가진다. 의사결정자의 행동은 몇 줄의 코드로 계산 가능해야 하며 과거의 모든 움직임을 바탕으로 최적의 전략을 구사한다. 적대자의 힘은 의사결정자에게 게임이 얼마나 어려울지를 결정하는 요소가 된다.

상대방의 성격과 라운드 구성에 따라 문제의 유형이 결정되며 이는 다양한 알고리즘적 해결책을 요구한다. 상대가 무작위적이면 의사결정 이론, 다수 라운드와 마르코프 체인이 결합하면 강화학습, 상대가 적대적이면 강건 제어 문제로 변모한다. 이러한 분류는 1940년대 후반에 공식화되어 1970년대 이후 표준적인 의사결정 모델로 자리 잡았다. 각 문제 유형은 텍스트북 하나를 채울 만큼 방대한 세부 해결책을 가지고 있다.

의사결정 문제의 유형을 라운드 수와 상대방의 성격에 따라 분류한 다이어그램. — Diagram의사결정 이론부터 강화학습, 강건 제어까지 다양한 알고리즘 프레임워크가 어떤 조건에서 성립하는지 계보를 보여준다.

근거

적대자가 무작위적일 때의 단일 라운드 게임은 의사결정 이론으로 정의된다. — If there is a single round and Player Two is random, this game is called decision theory.

행동의 영향력과 결정 빈도 사이에는 시스템이 극복하기 어려운 물리적 및 계산적 한계선인 레드 커브가 존재한다. 단일 최적화 알고리즘은 특정 영역 내에서는 효과적이지만 영향력이 크면서도 빠른 결정이 필요한 복잡한 시스템 전체를 통제하기에는 역부족이다. 물리 법칙과 모델링 능력의 제약이 시스템을 곡선의 한쪽에 머물게 만든다. 복잡한 시스템은 단일 최적화 문제만으로는 통제될 수 없음을 시사한다.

행동의 영향력(Impact)과 결정 빈도(Frequency) 사이의 관계를 나타내는 액션-임팩트 곡선. — Chart시스템이 물리적·계산적 한계로 인해 넘지 못하는 '레드 커브'를 시각화하여 단일 최적화의 한계를 설명한다.

근거

행동의 영향력과 결정 빈도 사이에는 물리적, 계산적 한계로 인한 '레드 커브'가 존재한다. — The action-impact curve shows that single optimization problems can’t govern complex systems on their own.

용어 해설

피드백(Feedback): — 시스템의 출력을 입력으로 다시 보내 제어 성능을 개선하거나 최적화하는 메커니즘으로, AI에서는 정보 활용을 통한 비용 절감의 핵심 도구로 기능한다.
최적 제어(Optimal Control): — 특정 제약 조건 하에서 시스템의 비용 함수를 최소화하는 제어 법칙을 찾는 수학적 방법론으로, 피드백 정책을 통해 최적의 성능을 도출한다.
강건 제어(Robust Control): — 모델의 불확실성이나 적대적인 방해 요소가 존재하는 환경에서도 안정적인 성능을 유지하도록 설계하는 제어 방식으로, 최악의 시나리오에 대비한다.
밴딧 문제(Bandit Problem): — 제한된 자원을 활용해 여러 선택지 중 최적의 보상을 주는 대상을 찾는 순차적 의사결정 문제로, 라운드 간 독립성이 특징이다.
H-무한대 제어(H-infinity): — 시스템의 전달 함수 노름을 최소화하여 최악의 외란 상황에서도 성능을 보장하는 강건 제어 기법으로, 적대적 게임 이론의 선형적 해법이다.

기술

LQR
H-infinity
Markov Chain

활용 사례

자율 주행 시스템 제어
로보틱스 의사결정
강화학습 에이전트 설계

섹션별 상세

근거

피드백 정책은 개루프 정책보다 더 넓은 정책 공간을 탐색하므로 항상 더 낮은 비용을 달성한다. — In optimal control, feedback is used for the most narrow-minded reason: it lowers cost.

근거

적대자가 무작위적일 때의 단일 라운드 게임은 의사결정 이론으로 정의된다. — If there is a single round and Player Two is random, this game is called decision theory.

근거

행동의 영향력과 결정 빈도 사이에는 물리적, 계산적 한계로 인한 '레드 커브'가 존재한다. — The action-impact curve shows that single optimization problems can’t govern complex systems on their own.

용어 해설

피드백(Feedback): — 시스템의 출력을 입력으로 다시 보내 제어 성능을 개선하거나 최적화하는 메커니즘으로, AI에서는 정보 활용을 통한 비용 절감의 핵심 도구로 기능한다.
최적 제어(Optimal Control): — 특정 제약 조건 하에서 시스템의 비용 함수를 최소화하는 제어 법칙을 찾는 수학적 방법론으로, 피드백 정책을 통해 최적의 성능을 도출한다.
강건 제어(Robust Control): — 모델의 불확실성이나 적대적인 방해 요소가 존재하는 환경에서도 안정적인 성능을 유지하도록 설계하는 제어 방식으로, 최악의 시나리오에 대비한다.
밴딧 문제(Bandit Problem): — 제한된 자원을 활용해 여러 선택지 중 최적의 보상을 주는 대상을 찾는 순차적 의사결정 문제로, 라운드 간 독립성이 특징이다.
H-무한대 제어(H-infinity): — 시스템의 전달 함수 노름을 최소화하여 최악의 외란 상황에서도 성능을 보장하는 강건 제어 기법으로, 적대적 게임 이론의 선형적 해법이다.

기술

LQR
H-infinity
Markov Chain

활용 사례

자율 주행 시스템 제어
로보틱스 의사결정
강화학습 에이전트 설계

게임을 이기기 위해 플레이하라: 알고리즘 의사결정의 게임 이론적 기초

섹션별 상세

용어 해설

기술

활용 사례

게임을 이기기 위해 플레이하라: 알고리즘 의사결정의 게임 이론적 기초

섹션별 상세

용어 해설

기술

활용 사례

관련 토론

댓글

관련 기사

모델 라우팅의 함정과 강화학습을 통한 해결책

관련 토론

댓글

관련 기사

모델 라우팅의 함정과 강화학습을 통한 해결책