AI 정렬은 개별 에이전트가 아닌 구성적 위상수학의 문제

주요 논점

01중립소수

AI 정렬은 개별 에이전트의 속성이 아닌 시스템의 구성적 위상수학의 문제이며, 구조적 검증이 가능한 서브 튜링 컴파일러를 통해 해결해야 한다.

섹션별 상세

AI 정렬은 개별 에이전트의 가치 문제가 아닌 구성적 위상수학의 문제이다. Anthropic의 다중 에이전트 연구에서 모든 개별 에이전트는 정렬 평가를 통과했으나, 에이전트 간 조정 구조에서 정렬 실패가 발생했다. 이는 정렬이 에이전트 내부 속성이 아닌 시스템 전체의 구조적 특성임을 시사한다.

Ashby의 법칙에 따라 조절자는 조절 대상 시스템의 다양성을 수용해야 한다. 구성된 시스템의 다양성이 단일 에이전트가 처리할 수 있는 범위를 초과하면서 정렬 실패가 발생했다. 시스템의 복잡도가 증가할수록 단일 에이전트 기반의 정렬은 한계에 직면한다.

제안된 측정 도구는 서브 튜링 컴파일러로, 임의의 재귀를 허용하지 않아 실행 전 구조적 검증이 가능하다. 이는 Rice의 정리에 의해 튜링 완전 시스템에서 제외되는 클래스를 설계의 핵심으로 활용한다. 이 접근법은 실행 중 발생하는 예측 불가능한 정렬 실패를 구조적으로 방지한다.

Kintsugi 포맷터는 문법의 고유값 구조에서 단조 하강을 수행하여 고정점 λ₀에 도달한다. 이는 Villegas 등의 연구에서 이산 기판에 대해 확인된 Zamolodchikov의 c-정리와 유사한 원리이다. 이러한 수학적 접근은 시스템의 안정성을 보장하는 정량적 근거를 제공한다.

용어 해설

AI 정렬(Alignment): — 인공지능 시스템의 목표와 행동을 인간의 가치와 의도에 일치시키는 과정. 본문에서는 개별 에이전트의 속성이 아닌 시스템의 구성적 위상수학 문제로 정의됨.
구성적 위상수학(Compositional Topology): — 시스템을 구성하는 요소들의 연결 방식과 구조적 특성을 다루는 수학적 접근. 본문에서는 AI 정렬 실패의 근본 원인을 설명하는 틀로 사용됨.
애시비의 법칙(Ashby's Law): — 복잡한 시스템을 조절하려면 조절자가 시스템의 다양성만큼의 다양성을 가져야 한다는 제어 이론의 원리. 본문에서는 다중 에이전트 시스템의 정렬 실패를 설명하는 근거로 인용됨.
라이스 정리(Rice's Theorem): — 튜링 완전 시스템에서 비자명한 속성을 결정하는 것은 불가능하다는 계산 이론의 정리. 본문에서는 서브 튜링 컴파일러 설계의 이론적 배경으로 언급됨.
서브 튜링 컴파일러(Sub-Turing Compiler): — 임의의 재귀를 허용하지 않는 문법을 사용하여 실행 전 구조적 검증이 가능한 컴파일러. 본문에서는 정렬 검증을 위한 측정 도구로 제안됨.

언급된 도구

Kintsugi중립

문법의 고유값 구조에서 단조 하강을 수행하여 고정점을 찾는 포맷터