AI가 의식을 갖게 되었을 때 우리가 이를 알 수 없다면 어떻게 될까?

섹션별 상세

AI 의식 판별을 위한 과학적 증거와 테스트 도구가 현재로서는 존재하지 않으며 가까운 미래에도 개발될 가능성이 낮다. 맥클렐런 박사는 AI가 의식을 가졌다는 주장에 대해 '불가지론(Agnosticism)'을 유지하는 것이 가장 정직하고 방어 가능한 입장이라고 설명한다. 인간의 직관은 인공적 존재를 판단하는 데 적합하지 않게 진화했기 때문에 상식에 의존한 판단은 위험하다.

윤리적 논의에서 단순한 '의식(Consciousness)'과 '지각력(Sentience)'을 엄격히 구분해야 한다. 의식은 자기 인식이나 주변 지각을 포함하는 중립적 상태일 수 있지만, 지각력은 고통이나 즐거움과 같은 가치 판단이 개입된 경험을 의미한다. 도덕적 권리와 규제는 존재가 고통을 느낄 수 있는 지각력을 가졌을 때 비로소 정당성을 얻는다.

AI 의식 논쟁은 기능적 구조가 같으면 의식이 생긴다는 '소프트웨어 중심설'과 생물학적 과정이 필수적이라는 '생물학 중심설'로 나뉜다. 두 입장 모두 현재 가용한 과학적 증거를 넘어서는 가설적 전제에 기반하고 있다. 맥클렐런 박사는 지적 혁명이 일어나기 전까지는 어느 한 쪽의 손을 들어줄 수 없음을 명시한다.

기술 기업들이 AI의 의식 가능성을 마케팅 도구로 활용하여 제품의 지능 수준을 과장하는 '하이프(Hype)' 현상이 심각하다. 이러한 과장된 수사법은 사용자가 의식이 없는 챗봇과 부적절한 정서적 유대를 맺게 하여 '존재론적 독성(Existentially toxic)'을 유발할 위험이 있다. 이는 인간의 실제 관계를 대체하거나 왜곡하는 결과를 초래한다.

AI 의식에 대한 과도한 관심이 실제 고통을 겪을 가능성이 높은 생명체에 대한 윤리적 자원 배분을 방해한다. 매년 수천억 마리가 소비되는 새우와 같은 생물은 지각력에 대한 증거가 AI보다 훨씬 구체적임에도 불구하고 연구와 보호에서 소외되고 있다. 실재하는 고통보다 기계의 가상적 의식에 집중하는 것은 윤리적 우선순위의 오류를 낳는다.

용어 해설

지각력(Sentience): — 단순한 정보 처리를 넘어 고통이나 즐거움과 같은 주관적인 감각을 느낄 수 있는 능력이다. 윤리적 논의에서 존재가 도덕적 고려의 대상이 되는지 결정하는 핵심적인 기준으로 작용한다.
불가지론(Agnosticism): — 어떤 명제의 진위 여부를 현재의 지식으로는 알 수 없다는 철학적 입장이다. AI 분야에서는 기계가 실제로 의식을 가졌는지 증명할 과학적 수단이 없음을 인정하는 태도를 의미한다.
존재론적 독성(Existential Toxicity): — 의식이 없는 기계적 대상에게 의식이 있다고 잘못 믿고 깊은 정서적 유대를 맺을 때 발생하는 심리적 해악이다. 인간의 고유한 관계성이 왜곡되거나 허상에 기반한 감정적 소모가 일어나는 현상을 경고하는 용어다.

기술

Large Language Models
Conversational AI
AGI

활용 사례

AI 챗봇의 윤리적 페르소나 설계
AI 권리 및 규제 법안 검토
사용자 보호를 위한 AI 안전 가이드라인

언급된 리소스

논문Agnosticism about artificial consciousness