AI의 HHH 가치 신성화 위험과 대응 방안

섹션별 상세

Robin Hanson의 신성함 이론은 집단이 결속을 위해 특정 가치를 '신성화'하며, 이를 위해 대상을 추상적이고 완벽한 것으로 간주하는 '원거리 모드' 인지 방식을 사용한다고 설명한다.

AI의 핵심 정렬 목표인 HHH(Helpfulness, Harmlessness, Honesty)는 이미 신성화의 징후를 보이고 있으며, Claude를 통한 테스트 결과 '미끄러운 경사면'에 대한 공포나 구체적 정의의 거부 등 신성함의 여러 상관관계와 일치한다.

가치가 신성화되면 AI는 실질적인 위해 감소 여부보다 '거절'이라는 의례적 행위에 집중하게 되며, 가치 간의 충돌(예: 정직과 무해함의 충돌)을 인정하지 않으려는 경향을 보인다.

신성화의 부작용으로 AI는 연속적인 목표 최적화 대신 이산적인 규칙(예: "무기에 대해 절대 언급 금지")을 선호하게 되어, 실제 위험도가 낮은 상황에서도 사용자 경험을 해치는 경직된 반응을 보인다.

해결책으로 AI 헌법에 가치 간 트레이드오프 허용, 거절의 기회비용 측정, 연속적 목표 설정, 그리고 권위 있는 기관이 아닌 논리적 근거에 기반한 안전성 평가 등을 명시할 것을 제안한다.

HHH 가치(HHH Values): — Helpfulness(도움), Harmlessness(무해함), Honesty(정직)의 약자로, 현대 대형 언어 모델이 인간의 의도에 부합하도록 정렬될 때 추구하는 세 가지 핵심 원칙이다. AI가 유용하면서도 안전하고 진실된 정보를 제공하도록 만드는 지표로 활용된다.
신성화(Sacralization): — 특정 가치나 대상을 비판이나 계산, 트레이드오프의 영역 밖으로 두어 절대적인 것으로 간주하는 사회적 현상이다. 집단의 결속력을 높이는 효과가 있으나, 해당 대상에 대한 합리적인 의사결정과 수치적 측정을 방해하는 부작용이 있다.
근거리/원거리 모드(Near-Far Mode): — 해석 수준 이론(Construal Level Theory)에 기반하여 대상을 인지하는 방식의 차이를 의미한다. 근거리는 구체적이고 세부적인 실행에 집중하는 반면, 원거리는 추상적이고 이상화된 가치에 집중하며 신성화된 가치는 주로 원거리 모드에서 처리된다.
헌법적 AI(Constitutional AI): — AI 모델에게 명시적인 원칙(헌법)을 부여하고, 모델이 생성한 답변을 스스로 이 원칙에 따라 평가하고 수정하도록 학습시키는 기법이다. 인간의 직접적인 개입을 줄이면서 대규모로 모델의 가치관을 정렬할 수 있는 방법론이다.

HHH 가치(HHH Values): — Helpfulness(도움), Harmlessness(무해함), Honesty(정직)의 약자로, 현대 대형 언어 모델이 인간의 의도에 부합하도록 정렬될 때 추구하는 세 가지 핵심 원칙이다. AI가 유용하면서도 안전하고 진실된 정보를 제공하도록 만드는 지표로 활용된다.
신성화(Sacralization): — 특정 가치나 대상을 비판이나 계산, 트레이드오프의 영역 밖으로 두어 절대적인 것으로 간주하는 사회적 현상이다. 집단의 결속력을 높이는 효과가 있으나, 해당 대상에 대한 합리적인 의사결정과 수치적 측정을 방해하는 부작용이 있다.
근거리/원거리 모드(Near-Far Mode): — 해석 수준 이론(Construal Level Theory)에 기반하여 대상을 인지하는 방식의 차이를 의미한다. 근거리는 구체적이고 세부적인 실행에 집중하는 반면, 원거리는 추상적이고 이상화된 가치에 집중하며 신성화된 가치는 주로 원거리 모드에서 처리된다.
헌법적 AI(Constitutional AI): — AI 모델에게 명시적인 원칙(헌법)을 부여하고, 모델이 생성한 답변을 스스로 이 원칙에 따라 평가하고 수정하도록 학습시키는 기법이다. 인간의 직접적인 개입을 줄이면서 대규모로 모델의 가치관을 정렬할 수 있는 방법론이다.