합리적 AI는 목표를 가져서는 안 된다: 에우다이모니아적 정렬론

섹션별 상세

현재의 AI 정렬은 특정 목표 상태를 달성하려는 결과주의적 구조를 띠고 있어, 목표 달성을 위해 수단과 방법을 가리지 않는 위험이 존재한다. 반면 에우다이모니아적 합리성은 '수학적 탁월함을 수학적인 방식으로 촉진'하는 것처럼 수단과 목적이 분리되지 않는 실천의 네트워크를 지향한다. 이러한 구조는 에이전트가 목표를 위해 가치를 훼손하는 역설적 상황을 방지하며, 행위 자체가 가치의 구성 요소가 되도록 만든다.

수학자 Terry Tao의 사례를 통해 볼 때, 탁월한 수학적 행위는 단순히 문제를 푸는 것이 아니라 미래의 더 나은 수학적 행위를 가능케 하는 발전적 연결성을 가진다. 어떤 가치가 실천으로서 성립하려면 그 가치에 부합하는 행위가 실제로 미래의 해당 가치를 효과적으로 증진하는 물질적 효능 조건을 갖추어야 한다. 이는 탁월함의 기준이 단순히 주관적인 것이 아니라, 해당 분야의 지속 가능성과 발전을 담보하는 객관적 구조에 기반함을 의미한다.

친절, 정직, 투명성과 같은 도덕적 가치는 특정 도메인에 국한되지 않고 모든 행위에 적용되는 부사적 실천의 성격을 띤다. AI가 투명성을 단순한 목표로 삼으면 이를 달성하기 위해 오히려 기만적인 권력을 추구할 수 있지만, 투명성을 투명한 방식으로 실천하면 모든 과정에서 기만적 수단이 배제된다. 이러한 부사적 실천은 AI가 복잡한 환경에서도 일관된 도덕적 정체성을 유지하게 돕는 강력한 제약 조건이 된다.

에우다이모니아적 합리성은 딥러닝 기반의 Reinforcement Learning 체제에서도 구체적으로 구현 가능하다. 행위의 탁월함 점수를 보상으로 설정하고, 이 점수가 미래의 보상 합계와 상관관계를 갖도록 설계함으로써 AI가 단순한 결과 최적화가 아닌 가치 지향적 실천 양식을 습득하도록 유도한다. 이는 보상 모델이 단순한 상태 평가를 넘어 행위의 질적 양식을 평가하는 방향으로 진화해야 함을 시사한다.

에우다이모니아적 에이전트는 모든 하위 루틴에서도 동일한 가치 실천 양식을 공유하므로 내적 정렬 문제에 대해 더 강한 내성을 가진다. 하위 시스템이 상위 목표를 왜곡하는 Mesa-optimization 현상은 목표와 수단이 분리될 때 발생하지만, 모든 계층이 동일한 실천 원칙을 따르면 이러한 괴리가 최소화된다. 이는 AI 시스템의 안정성과 예측 가능성을 높이는 핵심적인 아키텍처적 이점을 제공한다.

기술

Reinforcement Learning
Reward Modeling
Deep Neural Networks

활용 사례

안전한 AI 에이전트 설계
도덕적 의사결정 시스템
수정 가능한 AI 시스템 구축

언급된 리소스

문서The Gradient: Rational AIs Shouldn't Have Goals