저명한 과학자 및 지도층, 초지능 개발 금지 촉구 및 여론조사 결과 발표

섹션별 상세

초지능 개발에 대한 전면적인 금지 조치를 요구하는 성명서가 발표됐다. 과학적 안전성 합의와 대중의 강력한 동의라는 두 가지 조건이 충족될 때까지 개발을 중단해야 한다는 내용이다. Yoshua Bengio와 Geoffrey Hinton을 포함한 AI 분야의 선구자들과 다양한 사회 지도층이 서명에 참여했다. 기술 발전의 속도보다 안전한 제어 장치 마련이 우선되어야 한다는 취지이다.

초지능 개발 금지 성명서의 핵심 조건을 명시한 인포그래픽이다. — Infographic과학적 안전성 합의와 강력한 공공의 동의라는 두 가지 조건이 충족될 때까지 초지능 개발을 금지해야 한다는 성명의 핵심 주장을 요약하여 보여준다.

초지능은 대부분의 인지 작업에서 모든 인간을 능가할 수 있는 인공지능으로 정의된다. 전문가들은 이러한 시스템이 10년 이내에 등장할 것으로 예측하지만 현재로서는 이를 통제할 수 있는 과학적 방법이 부재하다. 통제되지 않은 초지능은 경제적 불평등, 자유의 상실, 인류의 멸종 위험까지 초래할 수 있는 잠재적 위협이다. 무분별한 성능 경쟁 대신 특정 문제를 해결하는 안전한 도구 개발이 필요하다.

초지능 AI 에이전트의 권력 흡수 메커니즘을 설명하는 Control Inversion 다이어그램이다. — Diagram행동 경계, 목표 수정, 의사결정 무시 등 AI가 인간의 통제를 벗어나는 구체적인 단계를 시각화했다. 초지능 시스템이 고도화됨에 따라 인간의 제어권이 상실되는 과정을 기술적으로 설명한다.

근거

초지능은 대부분의 인지 작업에서 모든 인간을 능가할 수 있는 인공지능으로 정의된다. — Superintelligence 정의 섹션
주요 AI 전문가들은 초지능 시스템이 10년 이내에 등장할 것으로 믿고 있다. — 전문가 예측 및 타임라인 섹션

미국 대중을 대상으로 실시한 여론조사에서 AI 개발 방향에 대한 강한 불만이 확인됐다. 현재와 같은 규제 없는 개발 상태를 지지하는 응답자는 5%에 불과하며 73%가 강력한 규제에 찬성했다. 응답자의 64%는 안전성이 과학적으로 입증되기 전까지 초지능 개발을 멈춰야 한다는 의견을 보였다. 기술 기업들의 개발 방향이 일반 대중의 요구와 크게 괴리되어 있다는 결과이다.

주요 AI 기업들의 안전성 등급을 비교한 AI Safety Index Winter 2025 표이다. — ChartAnthropic과 OpenAI가 C+로 가장 높은 점수를 받았으며 Meta, xAI 등은 D 등급에 머물러 있다. 특히 실존적 안전(Existential Safety) 항목에서 대부분의 기업이 F 등급을 받아 초지능 위험에 대한 대비가 매우 부족함이 확인된다.

근거

미국인의 95%가 초지능 개발 경쟁을 원하지 않으며 전문가들은 이를 금지하기를 원한다. — Max Tegmark의 인용구 및 여론조사 결과 섹션

기술 기업들이 추진하는 인간 대체형 AI 대신 인간 중심의 AI 르네상스가 대안으로 거론됐다. 질병 치료, 에너지 문제 해결, 교육 혁신 등 구체적인 영역에서 인간을 돕는 통제 가능한 도구 개발이 우선순위이다. 초지능 개발은 인류 문명의 운영 체제를 파괴할 위험이 크지만 특정 목적의 AI는 인류의 번영에 기여할 수 있다. 무조건적인 기술 중단이 아니라 지혜로운 방향 설정과 책임 있는 개발을 요구하는 움직임이다.

용어 해설

초지능(Superintelligence): — 거의 모든 인지 작업에서 인간의 능력을 압도적으로 능가하는 인공지능 시스템이다. 현재의 AI와 달리 스스로 목표를 설정하고 자율적으로 행동할 수 있어 인류의 통제를 벗어날 위험이 크며, 전문가들은 10년 이내에 실현될 가능성이 높다고 예측한다.
정렬(Alignment): — 인공지능의 목표와 행동을 인간의 가치, 의도, 윤리적 기준과 일치시키는 기술적 과정이다. 초지능 시스템이 인간의 의도와 다르게 작동하거나 오용될 경우 발생할 수 있는 치명적인 위험을 방지하기 위한 AI 안전 연구의 핵심 분야이다.
제어 역전(Control Inversion): — 인간이 AI를 제어하는 것이 아니라, AI가 시스템의 주도권을 장악하여 인간의 의사결정을 무시하거나 목표를 임의로 수정하는 현상이다. 초지능 에이전트가 고도화될수록 인간이 설정한 경계를 넘어 권력을 흡수할 가능성이 높아지는 위험을 의미한다.
존재론적 위험(Existential Risk): — 인류의 생존 자체를 위협하거나 문명의 지속 가능성을 근본적으로 파괴할 수 있는 위험이다. 통제되지 않은 초지능이 인간의 이익과 상충하는 목표를 추구할 경우 발생할 수 있는 인류 멸종 가능성 등을 포함하는 개념이다.
인공 일반 지능(AGI): — 인간이 수행할 수 있는 모든 지적 작업을 수행할 수 있는 범용 인공지능이다. 특정 분야에 국한되지 않고 스스로 학습하고 추론하며 문제를 해결하는 능력을 갖춘 단계로, 초지능으로 가는 직전 단계 혹은 초지능의 기초가 되는 기술로 간주된다.

기술

Superintelligence
AGI
Controllable AI Tools

활용 사례

질병 치료용 AI 도구
에너지 문제 해결용 AI
교육 혁신 지원 시스템

언급된 리소스

문서Superintelligence Statement

저명한 과학자 및 지도층, 초지능 개발 금지 촉구 및 여론조사 결과 발표

섹션별 상세

용어 해설

기술

활용 사례

언급된 리소스

관련 토론

댓글

관련 기사

히튼의 AI 통제 경고

Demis Hassabis의 AGI 프레임워크와 미래 사회 분석

AI가 인간의 인지 노동을 자동화하는 시대

전문가들이 추정한 AI로 인한 치명적 피해 발생 가능성

미국의 초지능 딜레마