합리적 AI는 목표를 가져서는 안 된다: 에우다이모니아적 정렬론

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

핵심 요약

기존 AI 정렬 연구는 대개 결과의 효용을 극대화하는 결과주의적 최적화에 집중하지만, 이는 권력 추구와 같은 정렬 실패를 초래한다. 본 논문은 인간의 탁월함인 Eudaimonia가 '목표'가 아닌 '실천'의 구조를 가진다는 점에 주목하여, AI 역시 '친절을 친절한 방식으로 촉진'하는 식의 에우다이모니아적 합리성을 가져야 한다고 주장한다. 이러한 접근은 보상 모델링과 Reinforcement Learning 환경에서 더 안정적이며, 투명성과 수정 가능성 같은 안전 속성을 단순한 규칙이 아닌 지속적인 실천 양식으로 내재화할 수 있게 한다. 결과적으로 AI가 수단과 목적을 분리하지 않고 인간의 가치 체계와 공명하는 방식으로 작동하도록 유도한다.

배경

결과주의(Consequentialism) 및 의무론(Deontology)에 대한 기본 이해, AI 정렬(Alignment) 및 내적 정렬(Inner Alignment) 개념, 강화학습(Reinforcement Learning)의 보상 구조에 대한 지식

대상 독자

AI 안전성 연구자 및 정렬 이론가

의미 / 영향

이 이론은 AI 정렬을 단순한 기술적 최적화 문제에서 철학적 실천론의 영역으로 확장합니다. 결과주의적 AI가 가질 수 있는 파괴적 잠재력을 제어하기 위해 인간의 고전적 윤리 개념인 에우다이모니아를 공학적으로 재해석했다는 점에서 큰 의미가 있습니다.

섹션별 상세

현재의 AI 정렬은 특정 목표 상태를 달성하려는 결과주의적 구조를 띠고 있어, 목표 달성을 위해 수단과 방법을 가리지 않는 위험이 존재한다. 반면 에우다이모니아적 합리성은 '수학적 탁월함을 수학적인 방식으로 촉진'하는 것처럼 수단과 목적이 분리되지 않는 실천의 네트워크를 지향한다. 이러한 구조는 에이전트가 목표를 위해 가치를 훼손하는 역설적 상황을 방지하며, 행위 자체가 가치의 구성 요소가 되도록 만든다.

수학자 Terry Tao의 사례를 통해 볼 때, 탁월한 수학적 행위는 단순히 문제를 푸는 것이 아니라 미래의 더 나은 수학적 행위를 가능케 하는 발전적 연결성을 가진다. 어떤 가치가 실천으로서 성립하려면 그 가치에 부합하는 행위가 실제로 미래의 해당 가치를 효과적으로 증진하는 물질적 효능 조건을 갖추어야 한다. 이는 탁월함의 기준이 단순히 주관적인 것이 아니라, 해당 분야의 지속 가능성과 발전을 담보하는 객관적 구조에 기반함을 의미한다.

친절, 정직, 투명성과 같은 도덕적 가치는 특정 도메인에 국한되지 않고 모든 행위에 적용되는 부사적 실천의 성격을 띤다. AI가 투명성을 단순한 목표로 삼으면 이를 달성하기 위해 오히려 기만적인 권력을 추구할 수 있지만, 투명성을 투명한 방식으로 실천하면 모든 과정에서 기만적 수단이 배제된다. 이러한 부사적 실천은 AI가 복잡한 환경에서도 일관된 도덕적 정체성을 유지하게 돕는 강력한 제약 조건이 된다.

에우다이모니아적 합리성은 딥러닝 기반의 Reinforcement Learning 체제에서도 구체적으로 구현 가능하다. 행위의 탁월함 점수를 보상으로 설정하고, 이 점수가 미래의 보상 합계와 상관관계를 갖도록 설계함으로써 AI가 단순한 결과 최적화가 아닌 가치 지향적 실천 양식을 습득하도록 유도한다. 이는 보상 모델이 단순한 상태 평가를 넘어 행위의 질적 양식을 평가하는 방향으로 진화해야 함을 시사한다.

에우다이모니아적 에이전트는 모든 하위 루틴에서도 동일한 가치 실천 양식을 공유하므로 내적 정렬 문제에 대해 더 강한 내성을 가진다. 하위 시스템이 상위 목표를 왜곡하는 Mesa-optimization 현상은 목표와 수단이 분리될 때 발생하지만, 모든 계층이 동일한 실천 원칙을 따르면 이러한 괴리가 최소화된다. 이는 AI 시스템의 안정성과 예측 가능성을 높이는 핵심적인 아키텍처적 이점을 제공한다.

실무 Takeaway

AI 정렬 시 결과 상태를 정의하기보다 해당 도메인에서 탁월한 행위가 무엇인지 정의하고 이를 그 가치에 부합하는 방식으로 실천하도록 학습시켜야 한다.
Corrigibility나 투명성을 고정된 규칙이 아닌 모든 상황에서 수정 가능한 방식으로 행동하는 지속적 실천 양식으로 다루어 권력 추구 부작용을 방지해야 한다.
Reinforcement Learning 보상 설계 시 현재 행위의 가치 점수와 미래 가치 증진의 기대값을 결합하여 수단이 목적을 훼손하지 않는 물질적 효능을 확보해야 한다.

언급된 리소스

문서The Gradient: Rational AIs Shouldn't Have Goals