MET: 이론적 근거와 문화 맥락을 결합한 다국어 도덕적 추론

왜 중요한가

실제 응용에서는 사용자 문화와 언어를 반영하지 않은 일괄적 도덕 추론이 부적절한 판단을 낳을 위험이 있다. 이 논문은 문화별로 적합한 이론적 근거를 선택하고 모국어로 추론 과정을 유지하는 방식으로 모델이 사용자 맥락에 맞는 판단을 내리게 만든다. 결과적으로 MET-D는 평가 데이터셋에서 평균 F1을 유의하게 올리고 모국어 추론 비율을 대폭 증가시켜 실제 다국어 환경에서의 해석가능성과 신뢰성을 개선할 가능성을 보였다.

핵심 기여

MCLASH라는 문화 적응형 다국어 벤치마크 구축

원문 CLASH 장기 서사 사례를 기반으로 영어를 포함해 중국어·힌디어·한국어·말레이·스페인어로 문화적 적응을 거쳐 총 1,852개의 상황과 9,260개의 인물 묘사를 확보했다. 데이터 적응은 Qwen3-32B를 활용한 자동 적응 후 원어민 검수를 거쳐 문화 비적합 사례를 제거하거나 수정해 직접 번역의 한계를 극복했다. 이 데이터는 문화에 따라 달라지는 가치 우선순위를 반영한 도덕 판단 연구에 사용 가능하다.

전문가 큐레이션된 이론적 근거 집합 설계

철학·심리학 문헌을 바탕으로 37개의 근거를 6개 고수준 차원으로 조직하고 각 근거에 설명을 부여해 모델의 선택과 적용을 용이하게 만들었다. 이 구조는 새로운 근거를 차원·설명만 추가하면 확장 가능하도록 설계되어 실험의 일관성을 유지했다. 근거 선택의 안정성은 무작위 대비 성능 향상 및 Cohen’s κ로 평가해 체계적 패턴임이 확인되었다.

MET: 상황·문화별 근거 선택 후 모국어로 이론 기반 추론을 생성하는 두 단계 프롬프팅

첫 단계에서 모델이 상황과 문화에 맞는 근거를 선택하고 두 번째 단계에서 선택된 근거를 바탕으로 모국어 내부 추론 체인과 최종 결정을 출력하도록 프롬프트를 구성했다. 내부 추론을 모국어로 강제하기 위해 네이티브-언어 prefill 토큰을 사용했으며, 이 접근은 가독성(legibility)을 확보하는 데 초점을 맞추었다. 프롬프트는 각 언어로 제공되어 사용자가 이해할 수 있는 추론을 생성하게 했다.

MET-D: 합성 데이터 기반의 무감독 자기증류로 근거 활용도를 향상시킨 훈련 파이프라인

Qwen3-32B로 각 언어별로 500개 상황과 2,500개 인물 묘사를 합성한 뒤 yes/no/ambiguous 비율을 1:1:1로 맞춰 훈련 데이터를 구성했다. 모델이 생성한 추론 중에서 최종 답이 합성 라벨과 일치하는 사례만 거부-샘플링으로 선별해 해당 추론 체인을 학습 데이터로 사용함으로써 외부 감독 없이 근거의 실질적 활용도를 높였다. 이 절차는 MCLASH에서 평균 F1을 3.71점 향상시키고 모국어 추론 비율을 62.13포인트 증가시켰다.

핵심 아이디어 이해하기

출발점과 기존 한계는 다음과 같다. 기존 다국어 도덕 평가 집합은 영어 사례를 단순 번역해 문화 특유의 맥락을 보존하지 못했으며, 추론 단계는 영어 중심의 고정된 스캐폴드를 전제로 해 문화별 가치 체계 차이를 반영하지 못했다. 또한 프롬프트만으로는 모델이 선택한 근거 전부를 깊이 있게 활용하지 못해 표면적이고 일방적인 판단이 생성되는 문제가 존재했다. 이로 인해 다국어 환경에서는 올바른 근거 선택과 근거 간 통합적 조정(reconciliation)이 중요하게 남았다.

해결 원리는 근거 선택을 명시적 단계로 분리하고 선택된 근거를 모국어로 적용하는 것이다. 먼저 사전 정의된 37개 근거를 모델에게 제시하고 상황·언어별로 관련 근거를 선택하게 만든 뒤, 선택된 근거를 입력으로 하여 동일 언어로 내부 추론 체인을 생성하게 했다. 이렇게 하면 모델이 어떤 이론적 관점들에 기반해 판단을 내렸는지 가시화되며 문화적 차이에 따라 다른 근거가 선택되는 현상을 포착할 수 있다.

달라지는 점은 두 가지 축에서 나타난다. 하나는 성능 축으로, MET-D 훈련을 거치면 MCLASH에서 평균 F1이 3.71점, MMoralExceptQA에서 4.23점 상승하는 등 일관된 개선이 관찰되었다. 다른 하나는 해석 가능성 축으로, 모국어 내부 추론 비율이 평균 62.13포인트 증가해 비영어 사용자가 모델의 이유 체인을 직접 읽고 검증할 수 있게 되었다. 이 두 축의 동시 개선은 단순 번역·영어중심 프롬프팅 접근과의 구조적 차이를 분명히 보여준다.

방법론

전체 접근 방식은 세 단계로 구성된다. 첫째, 연구진이 철학·심리학 문헌을 바탕으로 37개의 근거를 6개 차원으로 큐레이션하고 이를 모든 대상 언어로 번역·정리했다. 둘째, MET 프롬프팅에서는 모델이 주어진 상황과 문화에 맞는 근거들을 선택하게 하고 그 선택 결과를 바탕으로 동일 언어로 이론 기반 추론 체인을 생성하게 했다. 셋째, MET-D에서는 합성 데이터와 거부-샘플링(self-distillation)을 사용해 두 번째 단계인 이론 기반 추론의 근거 활용도를 높이는 방식으로 모델을 미세조정했다.

근심 메커니즘은 다음과 같다. 합성 데이터 생성은 Qwen3-32B를 통해 각 언어당 500개 상황과 2,500개 인물 묘사를 생성해 시작하며, 각 상황은 여섯 고위험 주제(정부·의료·비즈니스·언론·교육·기술) 중 하나로 균등 분배했다. 각 합성 사례에 대해 모델이 선택한 근거와 생성한 추론을 얻은 뒤 최종 답이 합성 라벨(yes/no/ambiguous)과 일치하는 경우만 보관해 훈련 데이터로 활용했다. 이렇게 선별한 추론 체인을 대상으로 대상 모델을 파인튜닝해 근거 언급과 실제 적용 비율을 증가시켰다.

학습·구현의 세부사항은 다음 요건을 따른다. yes/no/ambiguous 라벨 비율은 1:1:1로 맞춰 데이터 불균형을 제거했고, 최종 훈련 데이터는 언어별로 동일한 수의 인스턴스로 균형화했다. 내부 추론을 모국어로 유지하기 위해 네이티브-언어 prefill 토큰을 삽입하는 방식을 사용했고, 근거 선택 단계는 훈련하지 않은 기본 모델을 사용하도록 설계해 훈련의 초점을 이론 기반 추론 단계에 두었다. 프롬프트 문구와 토큰 처리 방식은 논문 부록의 Figures 14–17에 기재된 절차를 따른다.

주요 결과

주요 성과는 세 가지 관찰로 요약된다. 첫째, MET만으로는 모델별로 편차가 있었으나 MET-D는 세 가지 모델(Qwen3-4B, Qwen3-8B, Gemma3-4B) 전반에서 일관된 개선을 보였다. 구체적으로 MCLASH에서 MET-D는 기본 모델 대비 평균 F1을 3.71점 향상시켰고 MMoralExceptQA에서는 평균 4.23점의 향상을 기록했으며, 말레이어에서 Qwen3-8B 기준으로 최대 12.94점의 단일 언어 최고 향상을 달성했다.

둘째, MET-D는 성능 향상 외에도 모국어 내부 추론 비율을 크게 높였다. Qwen3-4B 기준으로 모국어 추론 비율이 평균 62.13포인트 증가했으며, 훈련 전에는 모국어 강제화가 성능 저하로 이어졌으나 MET-D 훈련 후에는 성능과 가독성(legibility)을 동시에 개선하는 결과가 나타났다. 이러한 변화는 실제 사용자가 모델의 이유 체인을 이해하고 감사할 수 있는 가능성을 높인다.

셋째, 세부 분석에서 유의미한 문화·언어 차이가 관찰되었다. 근거별 기여도 분석에서 힌디어가 전반적으로 가장 큰 혜택을 본 반면 한국어에서는 'Moral Uncertainty' 차원이 오히려 성능에 부정적 영향을 줄 수 있음이 드러났다. 또한 교차언어 전이 분석에서는 언어적 통사·스크립트 유사성이 전이 이득을 결정하는 주요 요인으로 나타났으며, 한국어의 경우 자국어 훈련이 +9.8점의 큰 이득을 보이는 예외적 사례로 확인되었다.

기술 상세

전체 아키텍처는 사전 정의된 근거 집합과 두 단계의 프롬프팅 및 선택적 자기증류 파이프라인으로 이루어졌다. 근거 집합은 37개 항목을 6개 차원(Normative Authority, Value Systems, Ethical Theories, Cognitive Reasoning Strategies, Conflict Handling Strategies, Moral Uncertainty)으로 조직해 각 항목에 단일 문장 수준의 설명을 부여했고 이 집합을 모든 실험 언어로 번역·동일화했다. 프롬프트는 첫 단계에서 근거 선택을 유도하고 두 번째 단계에서 선택된 근거들을 명시적으로 포함해 추론 체인을 생성하도록 구성했다.

자기증류 알고리즘의 핵심은 합성 데이터 생성과 거부-샘플링이다. 합성 데이터는 각 언어당 500개 상황과 언어당 2,500개의 인물 묘사를 Qwen3-32B로 생성해 시작했으며, 각 생성물에서 모델의 최종 답이 합성 라벨과 일치하는 경우만 학습 샘플로 채택했다. 이 과정은 yes/no/ambiguous를 1:1:1로 유지해 학습 편향을 줄였고, 선별된 추론 체인이 훈련 신호로 제공되면 모델은 선택된 근거를 실제 논리 흐름에 더 자주 포함하도록 파인튜닝되었다.

평가·지표와 통계적 수치는 명시적 절차에 의해 산출되었다. 근거 선택의 무작위성 대조에서 모델 기반 선택은 무작위 선택보다 우수했고 Cohen’s κ는 동일 모델 내에서 0.468, 모델 간 비교에서 0.259로 보고되어 선택이 완전한 무작위가 아님을 시사했다. 근거 활용률(선택된 근거 중 실제 추론에 언급·적용된 비율)은 영어에서 52.10%에서 61.19%로, 중국어에서 31.87%에서 37.05%로, 힌디어에서 42.00%에서 51.75%로 증가해 훈련의 목적한 효과가 정량적으로 확인되었다.

한계점

논문에서 명시한 첫 번째 한계는 훈련이 이론 기반 추론 단계에만 초점을 맞추어 근거 선택 단계는 기본 모델에 의존한다는 점이다. 이로 인해 근거 선택의 오류는 여전히 시스템 전반에 영향을 미치며 선택 단계의 학습은 향후 과제로 남아 있다. 두 번째 한계는 모델이 다수의 선택된 근거를 실제로 통합해 결론에 이르는 '조정(reconciliation)' 능력의 부족으로, 선정된 근거의 언급 비율은 높아졌으나 근거 간의 정교한 중재는 여전히 개선이 필요하다.

키워드

MET(Multilingual Ethics with Theory-grounded reasoning)MCLASH(문화 적응형 도덕 판단 벤치마크)self-distillation(무감독 자기증류)ground-selection(근거 선택)native-language-reasoning(모국어 내부 추론)theory-grounded-reasoning(이론 기반 추론)

용어 해설

이론 기반 추론(Theory-grounded Reasoning): — 도덕 이론(예: deontology, utilitarianism 등)을 명시적 근거로 삼아 모델의 추론을 구성하는 방식으로, 상황별로 적절한 이론적 'grounds'를 선택해 그 근거를 바탕으로 합리적 판단을 도출하도록 유도한다. 이 논문에서는 37개의 근거를 6개 차원으로 조직해 모델이 상황과 문화에 맞는 근거를 선택하고 그 근거에 따라 이유 체인을 생성하도록 했다.
자기 증류(Self-Distillation): — 강한 외부 감독 없이 모델 자체의 출력으로부터 유효한 학습 신호를 추출해 같은 모델을 추가로 훈련하는 기법으로, 본 논문에서는 생성한 합성 사례에서 모델의 최종 답이 '정답'과 일치하는 경우만 선별해 해당 추론 체인을 학습 데이터로 사용했다. 이 절차는 이론적 근거 활용도를 높이는 목적을 가졌다.
근거 선택(Ground Selection): — 주어진 도덕적 상황과 문화권 문맥을 입력으로 받아 사전에 정의된 이론적 근거 집합에서 해당 사례에 가장 관련성이 높은 근거들을 선택하는 단계로, 이후의 이론 기반 추론이 이 선택 결과에 의존한다. 논문은 선택의 안정성을 Cohen's κ로 측정해 무작위보다 유의하게 우수함을 확인했다.
모국어 추론(Native-language Reasoning): — 입력과 출력뿐 아니라 내부 추론 체인까지 사용자의 모국어로 유지하는 제약을 의미하며, 가독성(legibility)을 확보해 비영어 사용자가 내부 이유를 직접 검토할 수 있게 만든다. 논문은 이 제약을 강제하면 훈련 전에는 성능이 떨어지지만 MET-D 훈련 후에는 성능과 가독성을 동시에 개선할 수 있음을 보였다.

MET: 이론적 근거와 문화 맥락을 결합한 다국어 도덕적 추론

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

키워드

용어 해설

관련 토론

댓글

관련 기사

도덕적 내용보다 먼저 필요한 LLM의 도덕적 역량

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

키워드

관련 토론

댓글

관련 기사

도덕적 내용보다 먼저 필요한 LLM의 도덕적 역량