기능적 의사결정 이론(FDT)의 구체화: 논리적 인과관계와 do-연산자

섹션별 상세

논리적 do-연산자는 자신의 행동을 결정하는 노드의 값을 강제로 설정할 때, 그 노드보다 하류에 있는 관찰된 사실들을 망각하는 과정을 포함한다. 이는 Parfit의 히치하이커 문제에서 이미 마을에 도착했다는 사실을 알고 있음에도 불구하고, 과거에 오메가가 자신을 구해준 이유가 내가 지불할 것이라는 논리적 사실 때문임을 인식하게 하여 지불을 선택하게 만든다.

Parfit의 히치하이커 문제를 설명하는 논리적 인과 그래프이다. — Diagram알고리즘의 결정이 오메가의 행동과 최종 효용에 미치는 논리적 경로를 시각화한다. FDT 에이전트가 하류 노드의 관찰값을 망각하고 상류 노드와의 연결을 끊는 논리적 do-연산 과정을 이해하는 데 필수적인 도식이다.

논리적 인과관계는 단순한 상관관계를 넘어 방향성을 가진 인과적 직관을 조건부 독립성 규칙으로 정의한다. 이를 구현하기 위해 논리적 세계 모델을 통한 인과 추론, 논리적 인덕터의 타임스텝 활용, 또는 증명 구조의 유사성을 측정하는 휴리스틱 논거의 알고리즘적 상호 정보량을 사용하는 방안이 제시된다.

FDT는 증거적 의사결정 이론(EDT)과 마찬가지로 SIA 업데이트 시 확률을 이중으로 계산하는 문제에 직면할 수 있다. 이를 해결하기 위해 관찰에 따라 신념을 업데이트하지 않고 사전 확률을 유지하는 논리적 비업데이트 패치를 적용하여 일관성을 유지한다.

물리적 인과관계에 기반한 CDT는 뉴컴의 문제나 쌍둥이 죄수의 딜레마에서 배신을 선택하는 등 한계를 보이지만, FDT는 자신의 알고리즘이 논리적으로 연결된 다른 에이전트나 예측 모델의 행동을 결정한다는 점을 반영하여 더 높은 효용을 얻는다.

용어 해설

기능적 의사결정 이론(Functional Decision Theory (FDT)): — 에이전트의 행동을 물리적 원인이 아닌 논리적 함수의 출력으로 간주하는 이론이다. 자신의 알고리즘과 논리적으로 연결된 다른 사건들에 미치는 영향을 고려하여 뉴컴의 문제 등에서 합리적 선택을 유도한다.
논리적 인과관계(Logical Causality): — 물리적 시공간의 인과관계가 아닌, 논리적 사실들 사이의 의존 관계를 의미한다. 예를 들어 '내 알고리즘의 결정'이 '예측자의 행동'을 논리적으로 결정한다는 관점이다.
Do-연산자(Do-operator): — 인과 그래프에서 특정 변수를 강제로 설정(개입)했을 때 다른 변수들에 미치는 영향을 계산하는 연산자이다. FDT에서는 이를 논리적 변수에 적용하여 반사실적 추론을 수행한다.
자기 지표 가정(SIA): — 관찰자가 존재한다는 사실 자체가 자신이 존재할 수 있는 세계의 확률을 높인다는 인류학적 원리이다. 의사결정 이론에서 에이전트의 수나 복제본의 존재 확률을 계산할 때 중요한 역할을 하며, 잘못 적용할 경우 확률을 이중으로 계산하는 오류를 범할 수 있다.
비업데이트 의사결정 이론(Updateless Decision Theory (UDT)): — 새로운 정보를 얻은 후 신념을 업데이트하여 결정하는 대신, 정보를 얻기 전의 사전 확률 상태에서 최선의 전략을 고수하는 방식이다. 동적 일관성 문제를 해결하는 데 중요하다.

활용 사례

AI 정렬(Alignment)
멀티 에이전트 협력 설계
논리적 불확실성 하의 추론