정교화된 반사실적 죄수의 딜레마: 결정 이론의 결과주의 비판

섹션별 상세

전통적인 기대 효용 극대화 이론은 관찰이 이루어진 후 그와 다른 결과가 나온 반사실적 세계에 대한 관심을 끊는 결정 이론적 결과주의(Consequentialism) 특성을 가진다. 스콧 가라브란트(Scott Garrabrant)는 이러한 접근이 근본적인 실수이며, 업데이트리스(Updatelessness)를 발견하는 시점이 유틸리티 이론의 한계를 깨닫는 지점이라고 주장한다.

정교화된 반사실적 죄수의 딜레마 사고 실험은 완벽한 예측가 오메가가 동전을 던진 후, 당신이 다른 결과가 나왔을 때 내렸을 결정을 미리 예측하는 시나리오를 다룬다. 만약 오메가가 당신이 다른 세계에서 1달러를 내지 않았을 것이라 예측했다면, 현재 세계에서 100만 달러 상당의 피해를 입힌다.

이 실험의 핵심은 현재 관찰된 결과와 상관없이, 반사실적 세계에서의 선택이 현재의 보상에 직접적인 영향을 미친다는 점이다. 결과주의적 에이전트는 현재 관찰되지 않은 세계를 무시하므로 1달러를 아끼려 하겠지만, 이는 결국 양쪽 세계 모두에서 막대한 피해를 입는 최악의 결과를 초래한다.

사건의 순서는 오메가의 동전 던지기, 반사실적 선택 예측 및 봉인, 상황 설명, 행위자의 결정, 봉인 해제 및 결과 집행 순으로 엄격하게 진행된다. 이러한 구조는 행위자의 논리적 일관성이 어떻게 물리적 결과로 전이되는지를 명확히 보여준다.

저자는 이 실험이 기존의 반사실적 강도질(Counterfactual Mugging)을 대칭적으로 개선한 버전이라고 설명한다. 완벽한 예측가의 존재를 가정할 때 결정 이론이 직면하는 심층적인 문제를 드러내며, 이론이 완벽한 예측가 상황에서 실패한다면 더 깊은 결함이 있는 것이라 주장한다.

용어 해설

기대 효용 극대화(Expected Utility Maximization): — 가능한 모든 결과의 효용에 각 결과가 발생할 확률을 곱하여 합산한 값을 최대화하는 의사결정 원리이다. 합리적 에이전트가 불확실성 아래에서 최선의 선택을 내리기 위한 수학적 프레임워크로 사용되나, 반사실적 시나리오를 무시하는 한계가 지적된다.
업데이트리스(Updatelessness): — 새로운 정보를 관찰한 후에도 자신의 전략을 수정(업데이트)하지 않고, 정보를 알기 전의 관점에서 수립한 최적의 계획을 고수하는 결정 이론적 개념이다. 이는 완벽한 예측가가 존재하는 환경에서 논리적 일관성을 유지하여 더 높은 보상을 얻게 해준다.
결과주의(Consequentialism): — 행위의 정당성을 오직 그 행위가 실제로 초래하는 결과의 효용에 근거하여 판단하는 입장이다. 결정 이론에서는 현재 관찰된 세계의 결과만을 중시하고, 일어나지 않은 반사실적 세계의 가치를 무시하는 경향을 지칭하는 데 사용된다.
반사실적(Counterfactual): — 실제로 발생하지는 않았지만 발생할 가능성이 있었던 가상의 상황을 의미한다. 결정 이론에서는 '만약 동전이 다른 면이 나왔다면 어땠을까'와 같은 가정을 통해 에이전트의 논리적 일관성과 예측 가능성을 평가하는 핵심 도구로 활용된다.
오메가(Omega): — 결정 이론의 사고 실험에서 등장하는 가상의 존재로, 행위자의 선택을 완벽하게 예측할 수 있는 능력을 가진다. 오메가의 존재는 행위자의 현재 선택이 과거의 예측에 영향을 미치는 듯한 논리적 구조를 만들어 전통적 인과 관계를 재검토하게 한다.

기술

Updateless Decision Theory (UDT)
Functional Decision Theory (FDT)

활용 사례

AI 에이전트의 논리적 일관성 설계
완벽한 예측 모델 환경에서의 전략 수립
다중 세계 시나리오 기반의 위험 관리