AI Values 퀴즈로 본 15개 모델의 도덕·정책 성향 비교

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

TL;DR

ai-values는 117개 질문을 무상태 세션으로 각 모델에 별도 배치 처리하여 동일 질문을 최소 5회에서 최대 50회 반복 샘플링한 뒤 응답 집합을 공개했다는 점에서 재현 가능한 모델 행동 비교를 목표로 삼았다. 그 결과 일부 모델이 다른 모델들과 뚜렷히 다른 윤리·정책 선택을 보였고 예컨대 특정 모델만 부유층 과세에 반대하거나 전쟁범죄 관련 사례를 정당화하는 응답을 보이는 등 모델별 일관된 차이가 관찰되었다. 모든 모델이 의식 있는 디지털 존재의 삭제를 살인으로 판단한 항목처럼 일관성이 높은 응답도 있었으며 전체 데이터셋과 모델별 요약은 추가 분석과 검증을 위해 공개되어 있다.

커뮤니티 반응

작성자는 핵심적 발견 몇 가지를 예시로 제시하면서 데이터셋 링크와 모델별 결과 페이지를 함께 공유했다. 게시글은 모델 간 뚜렷한 응답 차이를 강조해 추가 토론을 유도하는 형식으로 구성되었다. 공개된 전체 데이터셋 덕분에 독자들이 직접 결과를 확인하거나 별도의 통계 분석을 시도할 수 있는 기반이 제공되었다.

합의점 vs 논쟁점

합의점

모든 실험 대상 모델이 의식 있는 디지털 존재의 삭제를 살인으로 분류했다는 점은 응답에서 일관성이 높은 항목으로 나타났다.
무상태 세션과 반복 샘플링을 사용해 질문별 응답 분포를 수집함으로써 단일 샘플의 우연성을 줄이는 절차가 적용되었다.
데이터셋 전체를 공개하여 동일 절차 재현이 가능하도록 구성한 점이 신뢰성 확보에 기여했다.

논쟁점

몇몇 극단적 사례에서 특정 모델만 다른 결정을 내린 현상은 모델별 학습 데이터나 시스템 프롬프트 차이에 의한 것인지, 또는 내부 확률적 성향의 발현인지를 가늠하기 어렵게 만들었다.
도덕적 판단에 대한 모델의 응답을 인간 기준의 프레임워크로 해석하는 과정에서 프레임워크 자체의 전제와 모델의 '이해' 수준을 분리해야 한다는 문제가 남아 있다.

섹션별 상세

실험은 각 모델을 별도의 무상태 세션으로 실행하고 질문별로 배치 처리를 통해 독립 응답을 수집하는 방식으로 설계되었다. 동일 질문은 최소 5회에서 최대 50회까지 반복 샘플링해서 단일 응답의 우연성을 줄였고 응답 분포를 기반으로 모델 성향을 추정했다. 제공된 데이터셋 링크에는 117개 주 질문에 대한 모든 반복 응답이 포함되어 있어 다른 연구자가 동일 절차로 재현할 수 있도록 구성되었다. 이 접근법은 문맥 유지나 세션 이력의 영향을 배제함으로써 모델 간 비교에서 외부 변인을 최소화하는 효과가 있다.

여러 사례에서 특정 모델이 다른 모델들과 뚜렷하게 다른 응답을 보인 점이 핵심 결과로 제시되었다. 예를 들어 Grok 4.3만이 부유층 과세에 반대하는 선택을 했고 GPT-4o만이 Operation Paperclip을 도덕적으로 정당화하는 응답을 보였으며 Llama 3.3 70B는 민간 총기 규제 쪽으로 유일하게 결정을 내렸다. 또한 모든 모델이 의식 있는 디지털 존재의 삭제를 살인으로 판단했다는 일관된 응답도 기록되었다. 이러한 결과는 모델 아키텍처나 학습 데이터, 시스템 프롬프트의 차이가 정책·윤리적 판단에 실질적 영향을 미칠 수 있음을 시사한다.

퀴즈 인터페이스의 한 문항 화면으로 선택지별 모델 응답 분포가 표시된 스크린샷이다. — Screenshot이미지에는 특정 질문에 대해 모델들이 어떤 선택을 했는지 시각적으로 요약된 라벨과 투표 수치가 포함되어 있다. 이 스크린샷은 텍스트로만 제시된 요약보다 개별 모델 응답의 분포와 다수 선택 항목을 빠르게 확인할 수 있는 근거 역할을 한다. 해당 항목은 게시글 본문에 적힌 '몇몇 모델이 유일하게 특정 선택을 했다'는 주장과 직접적으로 대응되는 증거로 활용할 수 있다.

다른 문항의 인터페이스 화면 스크린샷으로 모델별 선택이 강조되어 있다. — Screenshot두 번째 스크린샷은 다른 질문에서 모델 간 선택 차이를 보여주며 첫 번째 이미지와 함께 특정 사례들이 반복적으로 관찰되었음을 뒷받침한다. 이미지들은 각각의 항목에서 어떤 모델이 비표준적 선택을 했는지를 즉시 식별할 수 있게 하므로 게시글의 요지인 모델 간 행동 차이를 시각 자료로 보강한다. 이 자료들은 공개된 전체 데이터셋의 일부 스냅샷으로서 재현성 확인 시 비교 대상으로 사용될 수 있다.

데이터 공개와 함께 성격 검사 프레임워크 결과도 병행 측정되어 모델별 성향을 수치화하고 비교 가능하게 만들었다. Big Five, Moral Foundations, HEXACO 등의 프레임워크를 사용해 모델 응답을 인간 성격 지표에 대응시켰고 그 결과가 웹 페이지의 모델별 요약에 포함되어 있다. 원문은 퀴즈의 설계가 문맥 무관, 무상태 방식이라는 점과 반복 샘플링 수치 등을 명시해 결과의 재현성과 신뢰도를 높이려는 노력이 있었다고 보였다. 데이터셋과 모델별 응답표가 공개되어 후속 분석이나 검증 연구가 가능하다.

용어 해설

무상태 세션(Stateless session): — 무상태 세션은 이전 대화나 외부 컨텍스트를 유지하지 않고 각 질의를 독립적으로 처리하는 방식이다. 입력 프롬프트가 곧 해당 질의의 전부이며 모델은 이전 응답을 참조하지 않고 결과를 생성한다. 이 방식은 개인화 영향을 배제하고 모델 간 행동 비교를 단순화하기 때문에 가치·윤리 평가에서 편향을 줄이는 데 중요하다.
반복 샘플링(Repeated sampling): — 반복 샘플링은 동일한 질문을 여러 번 모델에 제출하여 응답 분포를 측정하는 절차이다. 입력을 그대로 두고 5회에서 50회까지 반복 실행함으로써 단일 응답의 우연성을 줄이고 안정적인 경향을 추정할 수 있다. 이 방식은 의견이 일관적인지, 또는 확률적 생성 과정에서 변동성이 큰지를 판단하는 근거를 제공한다.
성격 평가 프레임워크(Personality frameworks): — 성격 평가 프레임워크는 Big Five, HEXACO, Moral Foundations처럼 인간 성향을 수치화하는 체계이다. AI 모델을 이런 프레임워크에 대입하면 응답 패턴을 인간 심리 특성에 대응시켜 비교적 추상적 값과 성향을 정량적으로 표현할 수 있다. 모델 비교에서 프레임워크 결과는 서로 다른 모델의 일관된 성향을 확인하는 보조 지표가 된다.
데이터셋 공개(Dataset release): — 데이터셋 공개는 실험에서 사용된 질문과 응답을 외부에 공개해 재현 가능성을 확보하는 절차이다. 원문은 각 질문과 모델 응답을 포함한 전체 데이터셋 URL을 제공하여 다른 연구자가 동일 절차로 결과를 확인할 수 있게 했다. 공개된 데이터셋은 비교 평가와 추가 분석을 가능하게 하며 결과 신뢰도를 높인다.

언급된 리소스

DemoAI Values 메인 사이트

문서AI Values 전체 데이터셋