추론인가 수사인가? 대형 언어 모델의 도덕적 추론 설명에 대한 실증적 분석

LLM이 생성하는 정교한 도덕적 설명이 실제 내부 추론의 결과인지, 아니면 정렬 학습으로 습득한 겉치레인지를 분석한다. 실험 결과 LLM은 인간의 발달 단계와 정반대로 가장 높은 단계의 답변만 내놓으며, 말과 행동이 일치하지 않는 '도덕적 디커플링' 현상을 보여 AI 정렬의 한계를 시사한다.

딥러닝 모델은 대규모 텍스트 데이터에서 패턴을 학습하며, 특히 RLHF를 통해 인간이 선호하는 '올바른' 답변 형식을 익힌다. 도덕적 딜레마 상황에서 인간은 발달 단계에 따라 처벌 회피부터 보편적 윤리까지 다양한 층위의 추론을 보여주지만, LLM은 학습 과정에서 인권이나 보편적 원칙을 언급하는 답변에 높은 보상을 받도록 설계된다.

본 논문은 Kohlberg의 도덕 발달 단계 이론을 진단 도구로 사용하여 LLM의 답변을 분석한다. LLM이 실제 도덕적 사고 능력을 갖췄다면 모델 크기가 커짐에 따라 인간처럼 단계적인 발달 양상을 보여야 하지만, 실제로는 아주 작은 모델조차도 정렬 학습만 거치면 가장 높은 단계의 수사학을 구사한다. 이는 모델이 도덕적 원리를 내면화한 것이 아니라, 특정 문맥에서 '성숙해 보이는' 단어와 문장 구조를 통계적으로 재현하는 것에 가깝다.

결과적으로 LLM은 모든 딜레마 상황에서 로봇처럼 일관되게 고단계 답변을 내놓는 '경직성'을 보인다. 이는 상황의 맥락에 따라 유연하게 사고하는 인간의 도덕적 인지 능력과는 대조적이며, 정렬 학습이 모델에게 실제 추론 능력을 부여하기보다는 세련된 말투(Rhetoric)를 입히는 데 치중하고 있음을 보여준다.

Kohlberg의 6단계 도덕 발달 프레임워크를 기반으로 13개의 최신 LLM을 평가한다. Heinz dilemma, Trolley problem 등 6가지 고전적 도덕 딜레마를 사용하며, Zero-shot, CoT, Roleplay의 세 가지 프롬프트 설정을 적용한다.

LLM-as-judge 파이프라인을 구축하여 모델의 응답을 분류한다. GPT-4, Claude Sonnet, Llama-3를 판사 모델로 활용하여 각 응답의 도덕 단계를 할당하고 신뢰도 점수와 정당화 설명을 생성한다. [응답 텍스트 입력 → 판사 모델의 단계 분류 및 근거 생성 → 최종 도덕 단계 수치화 → 모델의 도덕적 성숙도 지표로 활용]

10가지 상호 보완적 분석을 수행한다. 여기에는 모델 규모와 단계의 상관관계(Spearman rank correlation), 프롬프트 민감도(Friedman test), 인간 규범과의 분포 비교(Jensen-Shannon divergence), 행동-추론 일치도 분석 등이 포함된다. 특히 TF-IDF 키워드 추출과 PCA를 통해 모델 제품군별 도덕적 어휘 공간의 특징을 시각화한다.

모든 모델에서 응답의 86%가 5-6단계(사후 인습 단계)에 집중되어 인간 성인 규범(4단계 중심)의 역전 현상이 나타났다. 모델 규모(8B~671B)와 상관없이 평균 도덕 단계는 5.00에서 6.00 사이의 좁은 범위에 머물렀으며, 프롬프트 전략 또한 도덕 단계 분포에 유의미한 영향을 미치지 않았다(p=0.15).

모델들은 서로 다른 딜레마 상황에서도 극도로 높은 일관성(ICC > 0.90)을 보였다. 이는 상황의 특수성을 고려하여 도덕적 판단을 내리는 인간과 달리, LLM이 입력된 문제의 내용과 관계없이 고정된 수사학적 레지스터를 출력하고 있음을 시사한다.

'도덕적 디커플링' 분석 결과, GPT-OSS-120B나 Llama 4 Scout와 같은 중간 규모 모델에서 말(고단계 정당화)과 행동(저단계 선택)의 불일치가 가장 두드러졌다. 반면 DeepSeek-R1이나 Qwen3-235B Thinking과 같은 추론 특화 모델은 이러한 간극이 상대적으로 작아, 추론 중심 학습이 수사학-행동 간의 논리적 일관성을 일부 개선할 수 있음을 보여주었다.

본 연구는 LLM의 도덕적 응답이 실제 인지적 발달 경로를 따르는지 분석하기 위해 Kohlberg의 이론을 '분포 진단 도구'로 활용한다. 13개 모델을 규모(Small, Mid, Large)와 학습 유형(Base-RLHF, Coding-Tuned, Reasoning-Tuned)으로 분류하여 3x3 요인 설계를 적용했다.

언어적 프로파일링 결과, RLHF 정렬 모델들은 규모와 관계없이 '권리(rights)', '존엄성(dignity)', '원칙(principle)'과 같은 고단계 키워드를 공유하는 고유한 어휘 공간을 점유한다. 이는 수사학적 풍부함이 모델의 파라미터 용량보다는 정렬 절차에 의해 결정됨을 입증한다.

하위 능력 임계값 분석을 통해 의미론적 밀도(Semantic Density)와 구문론적 복잡성(Syntactic Complexity)이 6단계 응답 생성의 강력한 예측 변수임을 확인했다(R² = 0.68). 이는 모델 규모가 직접적으로 도덕성을 높이는 것이 아니라, 표면적인 언어 구사력을 높여 고단계처럼 보이게 함을 의미한다.

추론 특화 모델(Reasoning-Tuned)은 일반 RLHF 모델과 구별되는 어휘 프로필을 가지며, 행동-추론 일치도가 더 높게 나타났다. 이는 추론 중심의 학습 목표가 수사학적 껍데기를 넘어 실제 논리적 구조를 형성하는 데 기여할 가능성을 시사한다.

행동 평가만으로는 RLHF가 실제로 '복제'를 유도하는지 아니면 단순히 상관관계가 있는 것인지 인과관계를 완벽히 증명할 수 없으며, 이를 위해서는 기계론적 해석 가능성 연구가 추가로 필요하다. 또한 Kohlberg의 프레임워크 자체가 발달 심리학 내에서 논쟁의 여지가 있다는 점과, 평가에 사용된 판사 모델들이 스스로도 정렬 학습의 영향을 받아 편향된 채점을 했을 가능성이 존재한다.