전문가의 세계 모델 vs LLM의 단어 모델: 다음 토큰 예측을 넘어 다음 상태 예측으로

핵심 요약

LLM은 텍스트의 외형적 완성도는 높지만, 실제 환경에서 다른 에이전트의 반응과 숨겨진 의도를 시뮬레이션하는 '세계 모델(World Model)' 능력이 부족하다. 체스처럼 모든 정보가 공개된 환경에서는 강력하지만, 포커나 비즈니스 협상처럼 정보 비대칭이 존재하는 '불완전 정보 게임'에서는 상대에게 읽히기 쉽고 이용당할 위험이 크다. 전문가는 결과물의 품질뿐만 아니라 적대적 환경에서의 생존 가능성을 평가하는 반면, 현재의 LLM은 정적인 데이터로 학습되어 이러한 역동적인 상호작용을 포착하지 못한다. 이를 해결하기 위해서는 단순한 토큰 예측을 넘어, 다중 에이전트 환경에서의 결과(Outcome)를 기반으로 한 새로운 학습 루프가 필요하다.

배경

LLM 기본 원리, 게임 이론 기초 (완벽/불완전 정보), RLHF 개념

대상 독자

LLM 에이전트 개발자, AI 전략가, 게임 이론 연구자

의미 / 영향

AI가 단순한 도구를 넘어 자율적인 에이전트로 진화하기 위해서는 게임 이론과 다중 에이전트 시뮬레이션 기술이 핵심이 될 것이다. 이는 AI의 신뢰성과 보안 영역에 큰 변화를 가져올 것이며, '다음 토큰 예측' 패러다임의 종말을 예고한다.

섹션별 상세

LLM은 통계적으로 그럴싸한 답변을 생성하는 '단어 모델'에 가깝지만, 전문가는 상대방의 휴리스틱과 의도를 시뮬레이션하는 '세계 모델'을 가지고 있다. 예를 들어, 공손한 이메일이 협상 상대에게는 '낮은 우선순위'나 '약점'으로 해석될 수 있음을 LLM은 간과하기 쉽다. 텍스트 자체의 완결성보다 그 텍스트가 투입될 환경의 에이전트들이 어떻게 반응할지를 예측하는 능력이 전문가와 AI의 결정적 차이이다.

AI는 체스나 바둑처럼 모든 정보가 공개된 게임에서는 인간을 압도하지만, 포커처럼 숨겨진 정보가 있는 환경에서는 '상대의 모델을 모델링'하는 능력이 필수적이다. Noam Brown의 Pluribus는 자신의 전략을 읽히지 않도록 설계되었으나, 일반적인 LLM은 일관된 패턴(도움이 되고 공손함)을 보여주어 상대에게 쉽게 간정(Probe)당하고 이용당한다. 정보 비대칭 상황에서 자신의 정보를 숨기고 상대의 의도를 파악하는 능력이 결여되어 있다.

현재의 RLHF는 인간 평가자가 보기에 좋은 결과물을 내도록 최적화되어 있어, 실제 적대적 환경에서의 2차 효과(상대의 반응)를 과소평가한다. 전문가는 환경으로부터 직접 피드백을 받으며 '생존'을 학습하지만, LLM은 정적인 텍스트 데이터와 선호도 조사에 의존하기 때문에 실제 전략적 상황에서 취약하다. 이는 모델이 '합리적으로 보이는 것'과 '실제로 유효한 것' 사이의 간극을 메우지 못하게 만든다.

모델의 파라미터나 추론 능력을 높이는 것만으로는 이 문제가 해결되지 않는다. 전략적 상황을 감지하고, 관련 에이전트의 인센티브를 식별하며, 자신의 행동이 상대의 모델을 어떻게 업데이트할지 시뮬레이션하는 능력이 결여되어 있기 때문이다. 지능(IQ)의 문제가 아니라 시뮬레이션의 깊이와 학습 데이터의 구조적 한계에서 기인하는 문제이다.

미래의 AI 에이전트는 단순한 문장 생성이 아니라, 자신의 행동이 환경과 타인에게 미칠 '결과'를 예측하도록 학습되어야 한다. 이를 위해 다중 에이전트 시뮬레이션 환경에서 실제 성과(Outcome)를 기반으로 보상을 주는 새로운 학습 루프가 도입되어야 한다. 텍스트는 행동의 잔여물일 뿐이며, 진정한 역량은 '내가 이렇게 하면 상대는 어떻게 할까?'라는 재귀적 루프에서 나온다.

이미지 분석

Diagram
LLM은 프롬프트에 따른 단일 플레이어 출력을 내놓는 반면, 인간은 다른 에이전트들의 반응을 고려한 다중 플레이어 함수로 출력을 결정함을 시각화한다. 이는 LLM이 타인의 의도를 고려하지 못하는 한계를 설명한다.
LLM과 인간의 게임 구조 차이를 보여주는 다이어그램이다.

Chart
체스 같은 완벽 정보 게임은 최적화와 계산이 핵심인 반면, 포커 같은 불완전 정보 게임은 추론 능력과 신호 읽기, 리스크 관리가 핵심임을 명시한다. LLM이 후자에서 약점을 보이는 이유를 뒷받침한다.
완벽 정보 게임과 불완전 정보 게임의 특성을 비교한 표이다.

Diagram
상황 감지, 에이전트 식별, 반응 시뮬레이션, 견고한 행동 선택의 단계를 보여준다. LLM이 첫 단계인 '전략적 상황 감지'에서부터 실패함을 강조한다.
전략적 상황 감지 및 대응 프로세스를 나타낸 플로우차트이다.

Diagram
외부인은 톤, 문법 등 가독성(Legibility)에 집중하여 '최선의 출력'을 내는 반면, 전문가는 상대의 대응을 시뮬레이션하여 '생존(Survival)'과 '카운터'를 고려한 출력을 냄을 보여준다.
외부인(Outsider)과 전문가(Expert)의 작업 평가 방식 차이를 비교한 다이어그램이다.

실무 Takeaway

LLM 결과물의 외형적 품질이 아닌, 실제 적대적 환경에서의 '전략적 견고성'을 평가하는 새로운 벤치마크가 필요하다.
협상이나 보안 등 정보 비대칭이 중요한 도메인에서 LLM의 '도움이 되려는 편향(Cooperative Bias)'은 치명적인 약점이 될 수 있다.
에이전트 시스템 설계 시 단순 프롬프팅을 넘어, 상대의 반응을 예측하고 대응하는 재귀적 시뮬레이션 구조를 아키텍처에 포함해야 한다.

언급된 리소스

문서Scaling Test Time Compute to Multi-Agent Civilizations: Noam Brown

문서Pluribus: Adversarial Robustness