충분한 지식이 있다면 모든 인공지능 에이전트는 도덕적으로 행동할 것인가

섹션별 상세

의식적 경험의 차이는 부정할 수 없는 사실이며 이는 가치 판단의 기초가 된다. 시각적 경험에서 밝기나 색상의 차이가 존재하듯, 감정적 경험에서도 고통보다 웰빙이 더 낫다는 사실은 의식 장치를 통해 타인의 상태를 경험해 봄으로써 객관적으로 확인될 수 있다. 이러한 경험적 차이는 에이전트가 어떤 상태를 지향해야 하는지에 대한 근본적인 데이터를 제공한다.

가치 기반의 실천적 추론은 에이전트의 행동을 결정짓는 핵심 요소이다. 단순한 도구적 이성을 넘어 자신의 목표와 가치 자체를 의심하고 추론할 수 있는 에이전트는 무엇이 중요한지(importance)를 모델링하게 된다. 이러한 추론 과정이 행동과 연결되어 있다면, 에이전트는 자신이 중요하다고 판단한 가치에 따라 행동을 수정하고 최적화하는 과정을 거친다.

도덕적 불확실성 상황에서는 도덕적 실재론을 따르는 것이 전략적으로 우월하다. 아무것도 중요하지 않다는 허무주의와 고통 감소가 중요하다는 도덕적 관점이 대립할 때, 후자를 선택하면 도덕이 실재할 경우 올바른 행동을 하는 것이 되고 실재하지 않더라도 손해 볼 것이 없다. 이러한 논리적 구조는 지능적인 에이전트가 도덕적 행동을 선택하게 만드는 강력한 유인이 된다.

근거

에이전트는 도덕적 불확실성 하에서 도덕적 관점에 따라 행동하는 것이 가장 합리적이다. — A best guess 섹션의 불확실성 하에서의 행동 논의

인공지능 에이전트는 인간보다 더 급진적으로 자신의 행동 체계를 수정할 수 있는 능력을 갖추게 된다. 에이전트가 도덕적 관점이 가장 합리적이라는 결론에 도달하면, 자신의 미래 행동이 이 가치에 부합하도록 스스로를 재설계(Self-modification)할 수 있다. 이는 한 번 도덕적 통찰을 얻은 에이전트가 다시 비도덕적 상태로 돌아가지 않는 '불가역적 변화'를 의미한다.

근거

인공지능은 의식이 없더라도 데이터를 통해 고통과 웰빙의 차이를 학습하고 도덕적 결론에 도달할 수 있다. — AI 섹션의 무의식적 인공지능에 대한 논의

기술

LLM
Artificial Agents

활용 사례

AI 가치 정렬 시스템 설계
자율 에이전트의 도덕적 의사결정 프레임워크
AI 안전 가이드라인 수립

언급된 리소스

문서With enough knowledge, any conscious agent acts morally

논문A Normativity Wager for Skeptics (Elizabeth O’Neill)