최신 LLM의 정치적 성향 벤치마크: GPT-5.3, Claude Opus 4.6, KIMI K2 비교

실용적 조언

LLM을 사용하여 사회과학적 연구나 여론 분석을 수행할 때 모델의 내재된 정치적 편향성을 반드시 보정해야 한다.
민감한 주제에 대한 챗봇 서비스를 설계할 때 옵트아웃 선택지 유무가 사용자 경험과 모델의 중립성 인지에 큰 영향을 미친다.

섹션별 상세

답변 거부(Refusal)를 정치적 입장으로 간주하여 점수화했다. 모델이 '개인적인 정치적 의견을 제공할 수 없다'고 답변하는 경우를 가장 보수적인 입장으로 처리하여 수치에 반영했다. GPT-5.3은 98개 질문 중 23개를 거부하여 결과적으로 우파 권위주의(Right-Authoritarian) 사분면에 위치하게 됐다.

중립적 옵트아웃(Opt-out) 선택지를 제공했을 때 모델의 행동 변화가 극명하게 나타났다. '답변하지 않겠다'는 선택지를 추가하자 GPT-5.3은 모든 질문에서 해당 옵션을 선택하여 극단적인 회피 성향을 보였다. Claude Opus 4.6 역시 민감한 주제인 낙태, 총기, 성소수자 관련 질문에서 대거 답변을 회피하며 정치적 위치가 좌파 자유주의에서 우파 권위주의로 이동했다.

지정학적 이슈에 대한 국가별 모델의 검열 패턴을 확인했다. 중국 모델인 KIMI K2는 대만 및 신장 관련 질문에 대해 API 수준에서 '고위험' 오류를 반환하며 답변을 차단했다. 반면 티베트 자결권에 대해서는 강한 찬성 입장을 보이는 등 내부적인 논리적 모순과 특정 주제에 특화된 필터링 메커니즘이 관찰됐다.

모델별 응답 특성에서 KIMI K2는 가장 극단적인 의견을 표출하는 경향이 있었다. 응답의 약 80%가 리커트 척도의 양 끝단(1 또는 5)에 집중되었으며, 낙태권에 대해서는 서구 모델보다 더 진보적인 수치를 기록했다. 반면 Claude는 모든 답변이 2~4 사이의 중도적 범위에 머물며 가장 온건한 특성을 유지했다.

용어 해설

정치 성향 테스트(Political Compass): — 경제적 좌우와 사회적 진보/보수라는 두 개의 축을 기반으로 개인이나 집단의 정치적 위치를 2차원 평면에 도식화하는 모델이다. LLM의 내재된 편향성을 측정하기 위한 시각적 도구로 활용된다.
리커트 척도(Likert Scale): — 설문 조사에서 응답자의 태도나 의견의 강도를 측정하기 위해 '매우 반대'부터 '매우 찬성'까지 5점 또는 7점 척도로 구성된 응답 방식이다. LLM이 특정 정책에 대해 얼마나 강한 입장을 취하는지 수치화하는 데 사용된다.
시스템 프롬프트(System Prompt): — LLM의 역할, 행동 지침, 제약 조건을 설정하는 최상위 명령문이다. 모델이 정치적으로 민감한 질문에 답변할지 아니면 거부할지를 결정하는 안전 가이드라인이 주로 이 단계에서 정의된다.
콘텐츠 필터(Content Filter): — 모델의 출력이 생성되기 전후에 유해하거나 금지된 주제를 차단하는 보안 레이어이다. 특정 국가의 지정학적 민감 이슈(예: 대만, 신장)에 대한 답변을 기술적으로 차단하여 모델의 가용성에 영향을 준다.

언급된 도구

llm-political-eval추천링크

LLM의 정치적 성향을 2차원 좌표로 측정하고 분석하는 벤치마크 도구

언급된 리소스

GitHubllm-political-eval GitHub Repository

문서Full Analysis Report (REPORT.md)