Claude Opus 4.6의 정치적 예측 실패: 공개 발언을 액면 그대로 믿는 한계

섹션별 상세

01

Claude Opus 4.6은 정치적 협상 과정에서 공개된 강경 발언을 최종 결정으로 오인하는 경향이 있다. 2025년 10월 트럼프의 대베네수엘라 외교 단절 선언 사례에서 모델은 이를 액면 그대로 받아들여 이후 대화 가능성을 10%로 낮게 예측했다. 그러나 실제로는 46일 만에 정상 간 통화가 이루어지며 모델의 예측이 빗나갔다. 이는 모델이 협상 전략적 맥락보다 공식 발표문의 텍스트를 우선시하는 한계를 보여준다.

트럼프의 외교적 입장 번복 사례를 보여주는 타임라인이다. — Chart이 이미지는 Claude Opus 4.6이 과거의 유사한 협상 패턴을 학습하지 못하고 강경 발언을 최종 결정으로 오인했음을 시각적으로 증명한다. 19일 만에 번복된 2018년 사례와 46일 만에 통화가 이루어진 2025년 사례를 통해 모델의 예측 실패를 구체화한다.

02

이러한 예측 실패는 모델의 사전 학습 데이터 특성에서 기인할 가능성이 높다. 학습 데이터는 보도자료나 공식 성명 등 공식적인 텍스트가 지배적이며, 인간이 행간에서 읽어내는 협상적 맥락은 텍스트 형태로는 드물게 존재한다. 또한 RLHF 과정에서 라벨러들이 지정학적 협상 맥락을 충분히 반영하지 못해 이러한 편향이 교정되지 않았을 가능성이 제기된다.

용어 해설

사전 학습 아티팩트(Pretraining Artifact): — 모델이 사전 학습 데이터의 특성으로 인해 습득하게 된 편향이나 특정 행동 패턴을 의미한다. 이 아티클에서는 공식 성명 위주의 학습 데이터가 모델의 협상 맥락 파악 능력을 저해하는 원인으로 지목된다.
협상적 행간(Negotiating Subtext): — 인간이 대화나 상황에서 파악하는 협상 전략적 맥락이나 발언의 이면에 숨겨진 의도를 의미한다. 모델이 이를 파악하지 못하고 표면적인 텍스트만 처리할 때 예측 오류가 발생한다.
예측 벤치마크(Forecasting Benchmark): — 미래 사건의 발생 가능성을 예측하는 모델의 성능을 평가하기 위한 데이터셋이나 기준이다. 본문에서는 130개의 예측 사례를 통해 모델의 실패 모드를 분석하는 데 사용되었다.

언급된 도구

Claude Opus 4.6중립

정치적 사건 예측 및 추론

언급된 리소스

문서AI Takes People at Their Word