뇌과학의 대부 칼 프리스턴과의 대화: AGI의 신호와 의식의 경계

섹션별 상세

AGI의 결정적 특징은 미래의 결과를 시뮬레이션하고 선택할 수 있는 세계 모델 기반의 계획 능력이다. 시스템이 프롬프트 없이 순수한 호기심으로 질문을 시작할 때 비로소 진정한 AGI가 도래한 것으로 간주한다.

지능 시스템의 가치 함수는 외부에서 강제로 설정할 수 없으며, 생명체가 학습하듯 시스템 스스로 습득해야 한다. 유일하게 지속 가능한 보편적 목적 함수는 에코시스템 내에서의 생존과 적응을 의미하는 '적응적 적합성'이다.

의식은 단순한 정보 처리를 넘어 자기 성찰적 루프와 자신의 마음 상태를 인식하는 다층적 구조를 요구한다. 메모리와 연산 장치가 물리적으로 분리된 현재의 표준 컴퓨터 아키텍처에서는 자가 조직화가 불가능하여 진정한 감각 능력을 갖추기 어렵다.

뇌는 내부 상태와 외부 세계를 분리하는 '마르코프 블랭킷'이라는 통계적 경계에 의해 보호받는다. 외부 관찰자는 영상 장비나 심리학적 도구로 이 경계 너머를 간접적으로 추론할 뿐이며, 경계를 직접 침범하여 뇌를 관찰하는 순간 정상적인 기능은 상실된다.