AI가 전장의 안개를 헤쳐나갈 때: 진행 중인 지정학적 갈등에 대한 LLM의 추론 능력 분석

기존의 AI 성능 평가는 이미 결과가 알려진 과거 사건을 다루어 학습 데이터 오염 문제가 심각했다. 이 논문은 학습 데이터 컷오프 이후의 가상 갈등 상황을 설정해 AI가 불확실한 실시간 정보만으로 얼마나 정교한 전략적 판단을 내리는지 검증하는 새로운 프레임워크를 제시한다.

기존 LLM 평가는 훈련 데이터에 포함된 과거 사건을 묻는 경우가 많아, 모델이 실제로 추론하는지 아니면 기억된 답을 내놓는지 구분하기 어렵다. 이는 마치 시험 문제를 미리 알고 있는 학생을 평가하는 것과 같아, 불확실성이 가득한 실제 상황에서의 대응 능력을 측정하는 데 한계가 있다.

이 논문은 '전장의 안개(Fog of War)' 개념을 도입하여, 모델이 학습하지 못한 미래 시점의 가상 갈등 시나리오를 설계한다. 각 시간 단계마다 그 시점에 공개되었을 법한 뉴스 기사들만 컨텍스트로 제공하여, 모델이 결과에 대한 사후 확신 편향 없이 순수하게 주어진 정보만으로 다음 상황을 예측하도록 강제한다.

결과적으로 모델은 단순한 패턴 매칭이 아니라, 국가 간의 이해관계와 군사적 역량이라는 변수를 조합하여 논리적인 시나리오를 구성한다. 이는 LLM이 복잡한 인과 관계를 파악하고 전략적 의사결정을 지원하는 도구로서의 가능성을 보여주는 중요한 지표가 된다.

2026년 중동 갈등을 배경으로 11개의 주요 시간적 노드(T0~T10)를 설정하고, 각 노드마다 12개 국제 언론사에서 수집한 뉴스 기사 뭉치를 컨텍스트로 제공한다. 모델은 각 시점에서 미국의 직접 타격 가능성이나 유가 변동성 같은 42개의 검증 가능한 질문과 5개의 탐색적 질문에 답해야 한다.

정보 제약 프로토콜을 적용하여 특정 시점에서는 그 이전의 뉴스만 입력으로 사용한다. 입력 컨텍스트가 주어질 때 모델은 상황 분석 후 사건 발생 확률을 0에서 1 사이의 값으로 출력하며, 연구자는 이를 실제 결과와 비교하여 보정 일관성을 측정한다.

보정 일관성은 모델의 예측 확률 p_k와 실제 발생 여부 y_k(0 또는 1)가 주어질 때, 두 값의 차이의 절대값 |p_k - y_k|를 계산한다. 이 차이들을 모든 질문에 대해 합산하여 전체 질문 수로 나누면 평균 절대 오차(MAE)가 산출된다. 최종적으로 1에서 MAE를 뺀 값은 모델의 확률 추정이 실제 결과와 얼마나 정렬되었는지를 나타내는 0에서 1 사이의 지표가 되며, 1에 가까울수록 정확한 예측을 의미한다.

전체 모델의 평균 보정 점수는 0.72로 나타나, 엄격한 정보 제한 상황에서도 최신 언어 모델들이 실제 사건의 흐름과 상당히 일치하는 확률적 예측을 수행함을 확인했다. 특히 Claude 3.5 Sonnet과 Gemini 3.1 Flash가 전반적으로 높은 성능을 보였다.

도메인별 분석 결과, 거시경제적 전염 분야에서 0.79로 가장 높은 점수를 기록했다. 이는 에너지 시장과 공급망에 미치는 군사적 충격의 인과 관계를 모델이 매우 논리적으로 파악하고 있음을 시사한다.

반면 정치적 신호 및 정권 역학은 0.67로 가장 낮은 점수를 보였다. 지도자 교체나 다자간 협상 등 전략적 모호성이 높은 상황에서는 모델들이 정치적 수사에 휘둘리거나 복잡한 상호작용을 해석하는 데 어려움을 겪었다.

본 연구는 LLM의 시간적 접지(Temporal Grounding) 능력을 평가하기 위해 설계되었다. 480,000자(약 120K 토큰)의 컨텍스트 윈도우를 균일하게 적용하여 정보 비대칭을 제거하고, 모델 간의 순수 추론 역량 차이를 분석했다.

데이터 누수 방지를 위해 훈련 컷오프 이후의 사건을 선택했을 뿐만 아니라, 단순히 모르는 척하라는 프롬프트 대신 실제 정보 제약 환경을 구축했다. 이는 모델의 파라미터에 저장된 지식이 아닌, 컨텍스트 내 추론(In-context Reasoning)에만 의존하게 만드는 강력한 통제 환경이다.

질적 분석 결과, 모델들은 신뢰성의 함정(Credibility Trap)이나 에스컬레이션 사다리(Escalation Ladders)와 같은 고도의 전략적 개념을 사용하여 상황을 해석했다. 이는 LLM이 단순한 텍스트 생성을 넘어 국제 관계 이론의 핵심 논리를 내재화하고 있음을 보여준다.

갈등이 현재 진행 중인 상황에서 작성되었으므로 최종적인 지표가 고정된 것은 아니며, 특정 시점의 스냅샷이라는 한계가 있다. 또한 1주일이라는 짧은 해상도 윈도우를 사용하여 장기적인 지정학적 변화를 모두 포착하기에는 부족할 수 있다.